前言

以机器学习为核心的人工智能已经渗入人们生活和工作中的各个部分，不但在传统的计算机领域产生了影响，而且正在经济和金融方面产生深远的影响。本书正是笔者在复旦大学经济学院开设的“机器学习”课程中编写的讲义。

很多高校都开设了“机器学习”课程，有些教师把重点放在了代码上，在课程中逐行教学生如何调取函数库中的机器学习代码。而笔者在教学中发现代码虽然重要，但更为重要的是解释清楚机器学习代码背后的算法。一旦从算法上掌握了机器学习，理解代码相对就变得简单和容易了。

笔者编写本书的初衷就是试图用最精炼的篇幅为读者介绍机器学习算法。机器学习可以分成三大类别，即监督式学习、非监督式学习和强化学习。三大类别背后的数学原理各有不同。监督式学习使用了数学分析中的函数逼近方法和概率统计中的极大似然方法；非监督式学习使用了聚类和EM算法；强化学习使用了马尔可夫决策过程的想法。这些方法都比较明确地体现在本书中。

本书第1章先从多项式逼近的角度引出“什么是机器学习”这个问题。很有意思的是，看似它们之间没有什么关系，但是多项式逼近里面已经包含了很多机器学习中的基本思路和重要特点。接下来介绍了传统的线性回归、逻辑回归、决策树和贝叶斯模型。

在理解了传统的模型以后，开始从理论上介绍了一般优化的方法，为接下来的支持向量机和神经网络模型做好准备。在完成了这些监督式学习的内容以后，介绍了机器学习的一般理论，即VC维度的理论。

在非监督式学习中，从主成分分析开始，随后重点介绍了EM算法和隐马尔可夫模型。主成分分析模型的核心是线性代数的奇异值分解，而隐马尔可夫模型和概率理论有更大的关联。

在模型的最后一章介绍了强化学习。在理论上，介绍了马尔可夫决策过程、动态规划和随机优化；在实践上，把重点放在了时序差分方法上。

机器学习背后的数学原理包括概率、统计、数学分析以及线性代数等领域。虽然用到的数学原理较多，但是掌握机器学习最快捷的办法还是带着机器学习的具体问题来分析其背后的数学原理。因为线性代数和概率理论使用较多，所以本书在最后两章集中介绍了一些重要的概率论和线性代数的内容，以供读者参考。另外，学习任何知识，动手练习都是最好的加深理解的方法，因此本书的大部分章节都尽量配备了习题供读者进行编程练习。

最后，衷心感谢在本书编写过程中提供帮助的许晓曦、蔡雨清、汤咏仪和杨磊，特别是许晓曦对全书进行了通读和润色。也感谢责任编辑杨迪娜一直对我的鼓励和她对书稿做的耐心细致的编辑修改工作。

孙健
2023年10月