第1章

基本概念

不要记住这些公式。如果能理解这些概念，那么你就可以自己发明符号。

——John Cochrane， Investments Notes

本章旨在解释一些基本的思维模型，这些模型对于理解神经网络的工作原理至关重要。具体地说，本章将介绍 嵌套数学函数 （nested mathematical function）及其导数（derivative）。我们将从最简单的构成要素开始逐步研究，证明可以构建由函数链组成的复杂函数。即使其中一个函数是接受多个输入的矩阵乘法，也可以计算函数输出相对于其输入的导数。另外，理解该过程对于理解神经网络至关重要，从第2章开始将涉及神经网络的内容。

当围绕神经网络的基本构成要素进行研究时，我们将从 3 个维度系统地描述所引入的每个概念。

以一个或多个方程式的形式所表示的数学。
解释过程的示意图，类似于在参加编码面试时画在白板上的图表。
包含尽可能少的特殊语法的代码（Python 是一个理想选择）。

如前言所述，理解神经网络的一大挑战是它需要多个思维模型。你在本章中就可以体会到这一点：对将讨论的概念来说，以上 3 个维度分别代表不同的基本特征，只有把它们结合在一起，才能对一些概念形成完整的认识，比如嵌套数学函数如何以及为何起作用。注意，要完整地解释神经网络的构成要素，以上 3 个维度缺一不可。

明白了这一点，接下来就可以开始本书的学习了。我将从一些非常简单的构成要素开始讲解，介绍如何基于这 3 个维度来理解不同的概念。第一个构成要素是一个简单但又至关重要的概念：函数。