下载掌阅APP，畅读海量书库
立即打开
本章介绍了机器学习中一类基本的回归算法——线性回归。尽管线性回归比较简单，但仍可有效解决一些复杂度有限的问题。本章首先详细分析了基本线性回归算法，包括其最小二乘解、正则化方法、随机梯度求解和多输出问题。通过基函数映射，讨论了线性基函数回归，由不同的基函数，使得回归输出与输入特征向量之间得到各种非线性关系。
本章对求解线性回归问题给出了较为详细的介绍，实际上许多机器学习的著作都有对线性回归的较完整介绍，例如Bishop或Murphy的著作（见本书参考文献[6，33]）。本章仅提及了稀疏回归学习的基本概念，限于篇幅未能展开讨论，有关稀疏回归学习可进一步参考Hastie等的著作（见本书参考文献[20]）。