下载掌阅APP，畅读海量书库
立即打开
除了前面从几何的角度（或者说从 L 2 损失函数）看线性回归算法的逻辑，还可以从概率统计的角度看线性回归算法的逻辑。给出一组数据 D ={ x 1 ，x 2 ，··· ，x n }和对应的标签 y 1 ， y 2 ，···， y n ，寻找一个线性函数 f ，使得余项
ϵ i = y i - f （ x i ）
看上去类似白噪声，从而相互独立，而且满足同样一个正态分布 N （0 ，σ 2 ）。这里的 f （ x i ）= w T x i + b 。正态分布 N （0 ，σ 2 ）的密度函数为
所以，这些独立同分布的噪声的密度函数为
根据概率统计中的极大似然估计，希望估计参数 w 使得上述密度函数值为最大，从而计算
显然
所以，极大化密度函数就相当于做极小化，即
可以看到极大似然方法和最小二乘法的统一性。
使用极大似然方法还可以进一步推广最小二乘法的表示公式。如果要求
ϵ i = y i - f （ x i ）
不一定是独立同分布，而是满足联合正态分布，其协方差矩阵为 Ω ，那么所有 ϵ i 的密度函数为
再根据极大似然估计，得到
其解为
