3.4 岭回归和Lasso回归

在线性回归的解中，我们成功地使用了线性代数的手段，并且得到了一组闭形式的解的表达式。但是，在这个表达式中有两个值得注意的地方。第一，给出的每个数据都对最后回归的系数产生了影响；第二，在表达式中出现了类似（ X ^T X ） ^-1 这样的逆矩阵。所以，当给出的数据有一些是明显的极端值时，这些值都会对最后回归的超平面产生影响。

为了消除这些影响，可以考虑在做回归的同时要求回归的超平面具有一定的正则性质。这些正则性质表现在其系数不能太大。在不考虑正则性的要求时，损失函数为

但考虑到正则性的要求，可以将问题优化为

其中， λ 为正实数。当 λ 很大时，优化主要集中在后一项上；当 λ 较小时，优化主要集中在前一项上；当 λ =0时，优化和普通的回归没有区别。岭回归的求解并不困难，下面进行简单推导。还是使用线性代数的语言，将优化的目标函数展开为

其中， I 为单位矩阵。对 w 求导数，可以得到

从而得到岭回归的解为

当然，除了使用| w | ² 来约束回归的系数以外，还可以尝试使用其他的量来达到同样的约束。例如，使用 来达到同样的效果。其中

这样，优化问题就变为

不同于岭回归，该优化问题没有简单的闭形式解。通过一些推导，特别是关于凸函数的对偶特征，上述优化问题可以被验证等同于一个二次优化问题。这个回归称为Lasso回归。

最后再从另外一个角度来看岭回归。如果给出的数据本身是带有误差的，例如用 x _i 来代表样本内的数据，但真正样本内的数据是 ，其中带有独立的白噪声 ϵ _i 。用矩阵表示为

此时最小二乘法的目标是

因为上述表达式带有随机变量 ϵ ，所以应取其期望，即

其中， Ω 是由 ϵ _i 构成的协方差矩阵，最简单的可以取 λ I 这样的对角矩阵。对上述问题进行优化，可以得到

而这也就等价于岭回归。 jLBXX9xOKQS8NZlPXnYlYxmTX9DHGrp6pTIHaq3Ug4EZw2LoW4ocZJ52DCR+/epn