前言

机器学习已经成为一种解决诸多问题的有效工具，广泛应用于多学科交叉领域。本书以理工科本科生和一年级研究生的基础知识为起点，以面向工程应用为目标，适度侧重电子信息专业学生，并尽可能满足其他专业需求，是一本通用性和专业性兼顾的机器学习入门教材。通过学习本书，读者可以为掌握机器学习包括深度学习的本质和算法、解决实际问题及开展与本领域相关的研究打下基础。

本书是作者《机器学习导论》（以下称《导论》）的姐妹篇，是对《导论》的精简。但本书不是经过简单删削的简化版，而是对内容进行了重新梳理和编排，更适合作为一个学期“机器学习”课程的基本教材。《导论》更适合作为对机器学习课程要求更高并留有一定自学材料的教材。

与《导论》类似，本书在内容选择上尽可能地进行了平衡，既反映机器学习的基础知识和经典方法，又重视近期非常活跃的深度学习和强化学习的内容。深度学习很重要，尤其当前的一些商业化应用（包括计算机视觉、语音识别、自然语言处理、推荐系统、信息检索等），既有大数据支持，又可以通过大规模计算系统进行训练（学习），取得了许多重要进展。但并不是所有应用都有必要使用深度学习，许多问题用传统机器学习技术就可以取得很好的结果，尤其是一些工程中的专门领域，获取大数据集是非常困难的，在这些领域中，经典的机器学习方法可得到更广泛的应用。

全书内容共12章，分为3部分。

第一部分涵盖前5章，包括基础性介绍和一些需要补充的基础知识。第1章是机器学习概述，介绍了机器学习要解决的基本问题，以及一些基本术语、基本类型和构成模型的基本元素；第2章是统计与优化基础，介绍了概率和统计基础、决策论基础、信息理论入门知识和优化原理入门知识，目的是使本书尽可能满足具有不同背景的读者需求；第3章和第4章分别介绍了基本回归算法和基本分类算法，包括线性回归、线性基函数回归、Fisher线性判别分析、感知机、逻辑回归和朴素贝叶斯方法；第5章介绍了机器学习的评估和机器学习理论的相关知识。

第二部分由第6～8章组成，介绍了机器学习的3种重要算法：支持向量机、决策树和集成学习。由于这3类算法较为重要，每类都用一章的篇幅进行专题介绍。

第三部分由最后4章组成，包括深度学习、无监督学习和强化学习。关于神经网络与深度学习的专题，用两章的篇幅做了较深入的讨论。第9章是神经网络的基础，讨论了网络的结构、表示定理、目标函数、基本优化方法、梯度计算、初始化和正则化等，最重要的是给出了反向传播算法的详细介绍；第10章详细介绍深度学习中的两大类网络结构：

卷积神经网络和循环神经网络，分别介绍了其基本结构、扩展结构，以及几个有影响的网络结构的例子，给出了残差网络、LSTM、GRU等新结构的介绍，然后介绍了深度网络的优化技术、正则化和归一化。第11章是关于无监督学习算法的专题，讨论了聚类算法、EM算法及主分量分析。第12章介绍了强化学习原理和算法，首先讨论了强化学习的表格方法，然后介绍了值函数逼近和策略梯度两类算法，这两类算法都可以结合深度神经网络构成深度强化学习。

目录中标记星号的章节属于选读内容。

作为一本教材，本书每章都设置了适量的习题供选用。作者在附录A中给出了课程的实践型作业实例。在作者自己开设的课程中，每学期均要求学生完成若干实践型作业，作业一般来自网络资源中的实际数据，需要学生自己选择预处理方法，实践型作业的效果非常好。每年的作业都有变化，为了提供完整的参考性，附录A给出某年的全部实践型作业的原题，仅供使用本书作为教材的老师参考。对于不同的院校、不同的专业，可以有不同的要求，但应该至少完成一项实践型作业。对于自学本书的科技人员，可以自行选择一些题目测试自己的学习效果。真正掌握好机器学习既需要较强的数学知识，从而理解各种算法；又需要有较强的实践能力，编程、调试完成一些实践型作业。本书以原理和算法为主，若读者需要学习编程基础，如Python语言，可自行选择相关的编程教材或指南，本书附录A的最后介绍了几个编程指南的网络链接。

作为一本综合性、导论性的机器学习教材，本书对深度学习和强化学习的介绍在深度和广度上都做了很大的努力，希望读者在学习到机器学习基础知识的同时，对深度学习和强化学习有深入的了解，尽快进入这些领域的前沿。

本书作为一本适合一学期课程使用的基本教材，参考文献只列出了教材和专著，《导论》则包含了更多较新的研究论文，考虑篇幅和基本教材的定位，本书没有再列出这些文献。

许多同行和研究生对本书的出版做出了贡献。微软亚洲研究院的刘铁岩博士对课程内容的设置提出了宝贵意见，秦涛博士对本书的内容给出了若干有价值的建议，清华大学电子工程系的同事汪玉、王剑、袁坚和沈渊等教授提供了各种帮助，谨表示感谢！作者的学生王超博士，曾多次作为课程助教，协助进行课程内容的完善和实践型作业的设计，并仔细阅读了本书的初稿，提出若干修改意见；助教博士生金月、邱云波帮助绘制了多幅插图，金月帮助实现了3.3节的实例，在此一并表示感谢。

尽管做了很大努力，但由于作者水平、时间和精力所限，本书难免有缺点和不足，希望读者批评指正。

张旭东
2023年1月
于清华园