人工神经网络(Artificial Neural Network)简称神经网络(Neural Network,NN),是人类模拟生物神经网络的结构和功能提出的数学模型,广泛应用于计算机视觉等领域。
虽然人工神经网络的设计在很多地方并不遵循生物神经元的原理,但它确实是受生物神经网络的启发产生的,其中最重要的概念就是神经元。
神经元又称神经细胞,是生物神经网络的基本组成。其外观和大小在神经系统中差异很大,但都具有相同的结构体,即胞体、树突和轴突。胞体又名核周体,由内质网、微管、游离核糖体、神经丝和核组成。轴突和树突是神经元的突起,在神经元间传递电信号。神经元的功能是接收信号并对其做出反应,传导兴奋,处理并存储信息,以及发生细胞之间的联结等,有了这些功能,动物才能迅速对环境的变化做出整合性的反应。
神经元之间相互连接,当某一神经元处于“兴奋”状态时,其相连神经元的电位将发生改变,若该神经元电位改变量超过了一定的数值(也称阈值),则其被激活,处于“兴奋状态”,并向下一级连接的神经元继续传递电位改变信息。信息从一个神经元以电传导的方式跨过细胞之间的联结(突触),传给另一个神经元,最终使肌肉收缩或腺体分泌。
神经元可以处理信息,也可以以某种目前还未知的方式存储信息。突触的连接可使数目众多的神经元组成比其他系统复杂得多的神经系统。从神经元的结构特性和生物功能可以得出结论:神经元是一个多输入单输出的信息处理单元,并且其对信息的处理是非线性的。
基于上述背景,1943年,McCulloch和Pitts提出了MP模型,这是一种基于阈值逻辑算法创造的神经网络计算模型,由固定的结构和权重组成。
在MP模型中,首先某个神经元接受其余多个神经元传递的信号,多个输入与对应连接权重相乘后输入该神经元进行求和,再与该神经元预设的阈值进行比较,最后通过激活函数产生神经元输出。每个神经元均为多输入单输出的信息处理单元,具有空间整合特性和阈值特性。
MP模型把神经元抽象为一个简单的数学模型,模拟了生物神经元的激活方式,成功证明了神经元能够执行逻辑功能,由此开创了人工神经网络研究的时代。从此神经网络的研究演变出两种不同的思路:一种是继续生物学原理方面的探究,着重关注大脑中信息传递与处理的生物学过程;另一种是逐渐趋于计算机学科,开始研究人工神经网络的应用。