概率与信息论是机器学习的重要基础及重要理论依据。本章介绍了概率论、信息论的一些基本概念，如样本空间、随机变量等。根据随机变量取值不同，又可分为离散型和连续型随机变量；根据随机变量的维度又可分为一维或多维随机变量。概率分布、边缘分布是刻画随机变量的重要特征，而期望、方差及协方差是随机变量的三个常用统计量。信息论是刻画随机变量的另一种方式，信息论在深度学习、人工智能中应用非常广泛，在后续章节也经常会出现。 c7xkDQ9Qet83NOZMDNfYWtAmpyjhDRkYjCC7w7B4SukYV++NGtXG3cB4ghoud4bo