1.1 递归神经网络概述

根据神经元连接方式的不同，神经网络可分为两类：一类是前馈神经网络，简称前馈网络 ^[3] ，各神经元从输入层开始，依次接受前一层的信息，输入到下一层，直至输出层，各层间没有反馈，可用一个有向无环图表示，如BP神经网络，如图1-1所示；另一类是递归神经网络，与前馈神经网络相比，除了依次传播之外，信息的输入输出和神经元之间还存在信息反馈。这使得某时刻的输出不仅与该时的输入有关，并且还和以前的信息有关，从而使整个网络表现出动态特性。例如，1990年ElmanJL针对语音处理问题而提出来的Elman神经网络，是一种典型的局部反馈网络，如图1-2所示；Jordan MI提出的Jordan神经网络，也是一种局部反馈神经网络，与Elman神经网络很相似，如图1-3所示。

递归神经网络种类较多，具有代表性有以下几类。

1. Hopfield神经网络

1982年，美国物理学家HopfieldJJ提出了Hopfield神经网络模型 ^[1] ，是一个单层最简单的全反馈神经网络，是递归神经网络的典型代表（见图1-4）。Hopfield引入能量函数，使能量函数的极小解对应于网络的平衡态。网络的平衡态的求证就转换为能量函数极小解的求解。若Hopfield网络是收敛的和稳定的，则反馈与迭代的计算过程所产生的变化越来越小，当到达了稳定平衡状态时，Hopfield网络就会输出一个稳定的恒值。对于Hopfield网络来说，确定它在稳定平衡状态时的权系数是关键。基于非线性反馈动力学的特性，凭借其强大的功能和易于电路实现等特点，Hopfield神经网络成功地应用到联想记忆和最优化领域中。Hopfield神经网络简化的数学模型为

其中， i =1，2，…， n ， u _i （ t ）表示神经网络的状态； C _i ＞0， R _i ＞0和 I _i 分别为第 i 个神经元的电容常数、电阻常数和网络的外部输入； T _ij 表示第 i 个神经元到第 j 个神经元的连接权重； g _j （·）表示神经网络的激活函数，激活函数通常取为S型函数（Sigmoidfunction），如 g _j （ x ）=tanh（ x ）， g _j （ x ）=1/（1+e ^-x ）， g _j （ x ）=2/（1+e ^{-2 x} ）-1， g _j （ x ）=π/2arctan（π/2 x ）等。

2. Cohen-Grossberg神经网络

1983年，CohenM A和GrossbergS提出了一种广义的递归神经网络——Co-hen-Grossberg神经网络 ^[4] ：

其中，函数 u _i （ t ）表示第 i 个神经元的状态变量； a _i （·）>0是有界连续函数，表示放大函数；函数 b _i （·）连续，满足 ， ； T =（ t _ij ） _{n × n} 是对称矩阵； s _i （·）是S型函数。其中神经元状态不再是二值，这种模型在具有固定权值的神经网络中具有一定的代表性，它的状态是根据一组常微分方程连续变化的。通过应用此类模型，可以将信息存放在系统中局部最小点上，进而减小存储空间，增大利用率，可见这类模型在信息的联想存储方面有巨大的应用价值，并在信号处理、联想记忆等领域得到了利用。

Hopfield神经网络是Cohen-Grossberg神经网络的特殊情况。相比Hopfield网络，Cohen-Grossberg网络更具备一般性，它不仅与生物网络紧密联系，而且在应用方面能够较好地解决系统存在的非线性和不确定问题，具有重要的研究意义。

3.细胞神经网络

基于Hopfield神经网络的直接影响和细胞自动机的启发，1988年美国科学家ChuaL O和YangL在积累了多年非线性运放电路研究成果的基础上，开创性地提出了细胞神经网络模型 ^[2] 。作为递归型神经网络一个典型代表，与Hopfield的人工网络相似，细胞神经网络也是一个大规模非线性模拟系统。不同于Hopfield网络的全局性连接，细胞神经网络具有细胞自动机的动力学特征，即每个细胞只与它的邻近细胞有连接，即局部连接。一个细胞是一个非线性电路单元，通常包含线性电容、线性电阻、线性和非线性压控电流源。细胞神经网络的局部连接性使其非常适合超大规模集成电路。细胞神经网络的分段线性的输出信号函数，具有双值输出、运行速度快，并行处理能力强的特点。基于生物细胞脉冲原理，细胞神经网络拥有良好的稳定性，因而在模式识别、图像处理等方面得到了广泛的应用。市场上已出现了基于细胞神经网络设计的各种专业芯片，如电子、光学和分子生物芯片。

一个二维的细胞神经网络，如图1-5所示，这个电路的大小是4×4的。小长方形代表称为细胞的电路单元。细胞间的连接表示相连细胞间有直接交互作用。

理论上，可以定义细胞神经网络是任何维的 ^[5，6] 。将 M × N 个细胞排成一个 M 行和 N 列的阵列，称为一个 M × N 细胞神经网络，称排在第 i 行第 j 列的细胞为（ i ， j ），记为 C （ i ， j ）。下面给出 C （ i ， j ）邻域的定义： r -邻域。

定义1-1 ^[2] （ r -领域）在一细胞神经网络中，设

N _r （ i ， j ）={ C （ k ， l ）| max{| k-i |，| l-j |}≤ r ，1≤ k ≤ M ，1≤ l ≤ N }

称 N _r （ i ， j ）为细胞神经网络的细胞 C （ i ， j ）的 r -领域，其中 r 是一个正整数。

如图1-6所示，给出了分别对应 r =1，2，3的同一细胞（位于中间以阴影表示）的三个邻域，通常称1-邻域为3×3邻域，2-邻域为5×5邻域，3-邻域为7×7邻域。

如图1-7所示，每个细胞 C （ i ， j ）包含一个独立电源 E _ij ；一个独立电流源 I ；一个线性电容 C ；两个线性电阻 R _x 和 R _y ；节点电位 V _xij 称为细胞 C （ i ， j ）的状态；节点电位 V _uij 称为细胞 C （ i ， j ）的输入；节点电位 V _yij 称为细胞 C （ i ， j ）的输出经由控制输入电位 V _ukl 及输出电位 V _ykl 的反馈与某个邻域细胞 C （ k ， l ）相耦合所得的至多3 m 个线性电压受控电流源，其中 m 是邻域细胞的数量， m =（2 r +1） ² 。

实际上， I _xy （ i ， j ； k ， l ）和 I _xu （ i ， j ； k ， l ）是线性电压受控电流源，对所有 C （ k ， l ）∈ N _r （ i ， j ），满足 I _xy （ i ， j ； k ， l ）= A （ i ， j ； k ， l ） V _ykl （ t ）， I _xu （ i ， j ； k ， l ）= B （ i ， j ； k ， l ） V _ukl 。每个细胞中唯一的非线性元素是一个分段线性电压受控电流源； I _yx =（1/ R ） f （ V _xij ），其中 f （·）是一个分段线性函数，如图1-8所示。

ChuaL O和Yang L应用基尔霍夫电流定律（KCL）和基尔霍夫电压定律（KVL），得到一个细胞的神经网络的 M × N 的电路方程模型 ^[2] 。其状态方程如下：

其中，1≤ i ≤ M ，1≤ j ≤ N 。 V _y ij （ t ）=1/2（| V _x ij （ t ）+1|-| V _x ij （ t ）-1|），1≤ i ≤ M ，1≤ j ≤ N 为输出函数（也称激活函数）；输入方程为 V _u ij = E _i j ，1≤ i ≤ M ，1≤ j ≤ N ；限制条件为| V _x ij （0）|≤1，1≤ i ≤ M ，1≤ j ≤ N ，| V _u ij |≤1，1≤ i ≤ M ，1≤ j ≤ N ；参数假设为 C >0， R _x >0， A （ i ， j ； k ， l ）= A （ k ， l ; i ， j ），1≤ i ， k ≤ M ；1≤ j ， l ≤ N 。

式（1-3）中， V _x ij 、 V _u ij 和 V _y ij 分别表示一个细胞的状态电压、输入电压和输出电压。 V _xij （ t ）、 分别表示状态变量和其导数； V _yij （ t ）表示输出变量，是 V _xij （ t ）的函数； V _uij （ t ）是输入常量； I 是一个常量，表示偏置电流； R _x 、 C 都是常量，分别表示电阻和电容。

为方便起见，简化一些符号并引入一些符号：

设 A =（ a _ij ） _{MN × MN} ，其中， a _N （ i -1）+ j ， N （ k -1）+ l = A （ i ， j ； k ， l ），1≤ i ， k ≤ M ，1≤ j ， l ≤ N ；设 B =（ b _ij ） _{MN × MN} ，其中， b _N （ i -1）+ j ， N （ k -1）+ l = B （ i ， j ； k ， l ），1≤ i ， k ≤ M ，1≤ j ， l ≤ N ；设 x （ t ）=（ x _i （ t ）） _MN ，其中 x _N （ i -1）+ j （ t ）= V _xij （ t ），1≤ i ≤ M ，1≤ j ≤ N ；设 y （ t ）=（ yi （ t ）） _MN ，其中 yN （ i -1）+ j （ t ）= V _yij （ t ），1≤ i ≤ M ，1≤ j ≤ N ；设 U =（ u _i ） _MN ，其中 u _N （ i -1）+ j = V _uij ，1≤ i ≤ M ，1≤ j ≤ N ；设 f （ x （ t ））=（ f （ x _i （ t ））） _MN ，1≤ i ≤ MN 。

对所有的 C （ k ， l ）∉ N _r （ i ， j ），有 A （ i ， j ； k ， l ）= B （ i ， j ； k ， l ）= 0 。令 n ≜ M × N ， R _x =1， C =1。于是式（1-3）可以简化成下列形式：

其中， y _j （ t ）= f （ x _j （ t ）），1≤ j ≤ n 为激活函数；常值 u _j 常量为外部输入；参数约定为 a _i j = a _j i ，1≤ i ， j ≤ n 。

式（1-4）用矩阵形式表示即为

其中， y （ t ）= f （ x （ t ））， U =（ u _i ） _n =常量，1≤ i ≤ n ；参数约定为 A = A ^T 。

式（1-4）或式（1-5）为细胞神经网络的一般形式，亦称为细胞神经网络的标准形式，是 n 阶的常微分方程组。此形式也是众多学者的研究对象，并得到了很多成果。

Hopfield神经网络［式（1-1）］和细胞神经网络［式（1-4）］的拓扑结构虽然不同，但是这两种神经网络的简化后数学模型的标准形式是一致的。在研究的过程中，学者们对这两种神经网络中的参数进行了各种各样的改进或变形，如细胞神经网络（1-5）参数约定中 A 不一定是对称矩阵等，并且得到了许多结果 ^[7-9] 。对激活函数的范围也进行了扩展，可以是S型的、分段线性的、有界或者无界的单调不减的，或只满足Lipschitz条件的等。

4.广义细胞神经网络

1996年，EspejoS等提出了广义细胞神经网络 ^[10] ，作为细胞神经网络的一种推广，其可提供单元（细胞）高阶动力学线性动态部分及与应用有关的任意静态非线性化，保持各单元具有一致结构的同时，还允许单元间存在变化。用多变量替代细胞神经网络中的单变量，用非线性求和替代线性求和，因此广义细胞神经网络在一定程度上，使神经网络的运算能力及处理能力得以提高，在模式识别及图像处理等领域中有巨大的应用价值。一般的广义细胞神经网络的数学模型为

其中，

l ≥1为常数。若 l =1，则式（1-6）转化为细胞神经网络模型（1-5）。

5.双向联想记忆 （BAM） 神经网络

联想记忆网络是一种重要的递归神经网络，在众多的联想记忆网络模型中，以1988年Kosko提出的双向联想记忆（Bidirectional Associative Memory） ^[11] 的神经网络的应用最为广泛，通常简记为BAM神经网络。该模型是将单层的自联想Heb-bian相关器推衍为双层的异联想模式匹配电路。于是，与自联想的Hopfiled网络相比，BAM网络可以实现双向异联想，这是一种大规模并行处理大量数据的有效方法。可分为离散型、连续型和自适应型等多种形式。一般的BAM网络的数学模型为：

在参考文献［12-14］中，Kosko B又给出BAM神经网络的推广模型。基于实时性和容错性，BAM网络在信号处理、神经控制、联想记忆和模式识别中的广泛应用，使得其在过去的几十年中得到了广泛研究。

6.分流抑制细胞神经网络

1993年，Bouzerdoun A和Pinter R B提出了分流抑制细胞神经网络 ^[15] ，扩大了细胞神经网络应用领域。分流抑制细胞神经网络的数学模型为：

其中， a _ij ＞0； C _ij 表示位于第 i 行第 j 列的细胞元（ i =1，2，…， n ₁ ； j =1，2，…， n ₂ ）； x _ij （ t ）表示细胞元 C _ij 在时刻 t 的状态； fmn （ x _mn （ t ））表示细胞元 C _mn 在时刻 t 的信号输出函数； N （ i ， j ， r ）表示细胞元 C _ij 的 r 邻域，其中 N （ i ， j ， r ）={ C _mn |max{| m-i |，| n-j |}≤ r ，1≤ m ≤ n ₁ ，1≤ n ≤ n ₂ }。目前，分流抑制细胞神经网络在最优化、模式识别及图像处理等领域得到了成功的应用。 321aCnLGg19ubQ0j0HgVlESvUPA6kBGDQJmD1T+H9OK4ORIz3CZdfCx7jFHp4Vt7