通俗描述
线性回归模型是利用线性函数对一个或多个自变量和因变量（y）之间关系进行拟合的模型。
该模型基于两个定律：
- 大数定律：在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。
- 中心极限定理：一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。
公式推导
数据输入
基本概念
【1】 线性 = 直线？
- 线性函数的定义是：一阶或零阶多项式。特征是一维时，线性模型在二维空间构成一条直线；特征是二维时，线性模型在三维空间中构成一个平面；特征是三维时，则最终模型在四维空间中构成一个体；以此类推…
【2】最小二乘法
- 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离最小之后最小。
【3】最大似然估计
- 一种重要而普遍的求估计量的方法。通过调整估计参数，使得已经实现的样本发生概率最大。
【4】梯度下降法
- 从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。
【5】凸函数
- 对区间[a,b]上定义的函数f，若它对区间上任意两点x1,x2均有
则称f是区间[a,b]上的凸函数。
- 对实数集上的函数，可以通过二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。
【6】线性回归模型评价标准
- 回归评价指标 MSE(均方误差)、RMSE(均方根误差)、MAE(平均绝对误差)、R-Squared(R^2)
【7】L1和L2范数
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中的范数规则化-L0,L1和L2范式
算法实践
算法实践_线性回归
总结
- 优点：实现简单，计算简单
- 缺点：不能很好地拟合非线性数据
- 应用场景：线性回归简单、易于使用，但是现实生活中数据的特征和目标之间并不是简单的线性组合，所以并不能很好的解决具体问题。所以线性回归常用于数据特征稀疏，并且数据过大的问题中，可以通过线性回归进行特征筛选。在比赛中也可以用线性回归做一个Baseline。
问题
- 线性回归可以进行分类么
- 线性回归可以做特征选择么
- 线性回归、Ridge回归（L2范式）、Lasso 回归（L1范式）的区别和适用条件
- 最小二乘法的算法复杂度怎么分析
- 线性回归能处理非线性数据么
参考
- https://gitbook.cn/gitchat/column/5ad70dea9a722231b25ddbf8/topic/5b020c53edd0d46379a756fb
- https://github.com/wangjiaxin24
- 机器学习-周志华
- https://blog.csdn.net/u010159842/article/details/52918815
- 有道云笔记-线性回归
- https://github.com/Heitao5200/Heitao5200_MachineLearning/blob/master/LR/LinearRegression.md
- https://blog.csdn.net/weixin_41246832/article/details/82916841
- https://blog.csdn.net/Datawhale/article/details/82931967
|
