第2章
必要的数学预备知识

在本章中，我们将带领大家简要回顾深度学习所需的必要数学知识，包括线性代数、微积分和概率统计。为什么要学习这三方面内容呢？主要原因有以下几点。

● 线性代数在处理神经网络中的矩阵和向量运算中起着关键作用。例如，神经网络的输入通常是以矩阵或向量的形式表示数据，而各层之间数据的传递依赖于矩阵乘法和加法等运算。此外，卷积、反卷积、池化、上采样等操作都涉及矩阵的处理。

● 微积分在神经网络的学习中也非常重要。神经网络的训练基于梯度下降算法，其核心是求解损失函数的最小值。这涉及函数的求导（微分）操作，需要理解函数梯度、梯度下降法则等概念。反向传播算法就是基于链式法则的微分运算。

● 概率统计是理解和表达神经网络内部及其性能中不确定性的基础。在实际应用中，我们可能会遇到带有噪声的训练数据，或需要评估分类任务中各个类别的概率。此外，一些高级深度学习模型，如生成对抗网络（GAN）和变分自编码器（VAE），均建立在概率论的框架之上。

为了便于记忆，我们用图2-1来帮助你理解上述三方面内容在神经网络中的关系。简单来说，就是前向传播用线性代数，反向传播基于微积分，而损失函数的构建则大量依赖概率统计。

图2-1　线性代数、微积分、概率统计在神经网络中的关系示意

如果你对此仍然感觉有些困惑，我们用一个生活中制作蛋糕的例子来类比深度学习的过程，帮助你加深理解这三类数学知识。

线性代数如同蛋糕的配方。面粉、糖、鸡蛋等不同原料的用量，可以被视作向量，而它们的组合类似矩阵。制作蛋糕时，我们会根据配方将原料混合在一起，神经网络在前向传播时则会根据权重（配方）将输入组合起来生成输出。

微积分就像在改进蛋糕配方。先做个蛋糕，看看效果如何，这就像在计算损失函数的值。接着，根据这个反馈值微调配方，比如需要更多的糖、更少的面粉。反复微调的过程就像神经网络的反向传播，通过梯度下降算法找到使蛋糕口感（损失函数）最佳的配方（参数）。

制作蛋糕的过程需要估计一些涉及概率统计的不确定因素都会，比如烤箱温度、面粉的精确分量，就如同深度学习中我们的数据可能带有噪声，或者有些不能通过直接观察而得到的隐变量，这时就要用到概率模型来处理这种不确定性。

总体来说，通过配方（线性代数）可以组合原料做出一个蛋糕，通过反复尝试和反馈（微积分）可以改进这个配方，而面对不确定性和噪声（概率统计）可以做出最佳的估计和决策。