回归分析在数学上来说是给定一个点集,能够找一条曲线去拟合
如果这个曲线是一条直线,那就被称为线性回归( ordinary linear regression ),如果曲线是一 条二次曲线,就被称为二次回归。回归还有很多的变种,如locally weighted回归,逻辑回归(logistic regression),等等。
用最小二乘使E最小
是否能把线性回归用于分类?
当然可以,但很不稳定!
如:
但如果使用逻辑回归就可以很好的解决这个问题。因为逻辑回归不是采用的最小二乘来确定W,而是采用的最大似然估计。
逻辑回归
逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上,套用了一个逻辑函数
线性分类、线性回归、逻辑回归
如何获取W呢? 这里采用最大似然估计
在资料发生的情况下,产生这样的结果的概率大小 应该越大越好!这样说明我们的模型越接近于上帝模式,这时的W,就是我们需要的W
用逻辑回归分类
SoftMax 多分类
多个二元分类器,看属于哪个类别的概率最大