逻辑回归和SVM的区别是什么？各适用于解决什么问题

1. 逻辑回归和SVM的区别是什么？各适用于解决什么问题

两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器.而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重.两者的根本目的都是一样的.此外,根据需要,两个方法都可以增加不同的正则化项,如l1,l2等等.所以在很多实验中,两种算法的结果是很接近的.
但是逻辑回归相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便.而SVM的理解和优化相对来说复杂一些.但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础,虽然一般使用的人不太会去关注.还有很重要的一点,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算
svm 更多的属于非参数模型,而logistic regression 是参数模型,本质不同.其区别就可以参考参数模型和非参模型的区别就好了.
logic 能做的 svm能做,但可能在准确率上有问题,svm能做的logic有的做不了

2. 逻辑回归和SVM的区别是什么？

如果从分界面的形状出发，来看待这两种学习模型，那么结果会是下面这样的。 逻辑回归和软间隔SVM(线性核)都是线性分类器，其分界面是超平面(w0 + w1*x1 +...+ wd*xd = 0)，所以两者适用于数据本质上是线性可分或近似线性可分的情形。软间隔SVM(非线性核)是非线性分类器，其分界面是曲面，适用于数据非线性可分的情形。注：作为SVM的原型——硬间隔SVM(线性核)，刚开始只能解决数据线性可分的分类问题。因为引入了核函数，才使得分类器可以解决数据非线性可分的问题。同样的，作为最最简单的神经网络——逻辑回归也只能解决线性分类问题。因为进行了函数的复合，同样使得分类器可以解决数据非线性可分的问题。