下载掌阅APP，畅读海量书库
立即打开
单层感知机能解决的问题是有限的，把多个单层感知机纵向、横向组合叠加，就形成了多层感知机，或者说全连接神经网络（DNN）。神经网络层可以分为输入层、隐藏层和输出层。一般来说第一层是输入层，最后一层是输出层，而中间的都是隐藏层，且层与层之间是全连接的，如图2.5所示。
图2.5 全连接神经网络结构示意图
神经网络的起源就是想用这些基本的简单函数叠加起来、组合起来形成复杂的函数，这个复杂函数能够完成复杂的任务。这样的思想有没有依据呢？其实是有很多这样的例子的，比如傅里叶变换、多项式的泰勒展开等，都可以分解为简单基本函数的叠加，也就是说，用简单的函数组合出复杂的函数是有理论支撑的。这个也特别像人体中的生物神经网络，简单的生物神经元通过组合叠加，就能完成复杂的功能。神经元和感知器本质上是一样的，只不过我们说感知器的激活函数是阶跃函数；而神经元的激活函数往往选择为sigmoid函数或ReLU函数等。