下载掌阅APP，畅读海量书库
立即打开
本节将介绍矩阵理论中的若干预备知识 [1～5] ，其中涉及矩阵求逆计算公式、矩阵的秩、矩阵分解、（半）正定矩阵、Moore-Penrose 广义逆矩阵和正交投影矩阵、梯度向量和Jacobi矩阵等相关内容。
本小节将介绍几个重要的矩阵求逆计算公式。
（一）矩阵和求逆公式
命题2.1： 设矩阵A∈R m×m ,B∈R m×n ,C∈R n×n 和D∈R n×m ，并且矩阵A、C和C -1 -DA -1 B均可逆，则下面的矩阵恒等式成立：
证明： 根据矩阵的乘法运算法则可得
将矩阵（C -1 -DA -1 B） -1 表示为
再将式（2.3）代入式（2.2）中可得
由式（2.4）可知等式（2.1）成立。
命题2.1得证。
根据命题2.1可以直接得到如下推论。
推论2.1： 设矩阵A∈R m×m ,B∈R m×n ,C∈R n×n 和D∈R n×m ，并且矩阵A、C和C -1 +DA -1 B均可逆，则下面的矩阵恒等式成立：
（二）分块矩阵求逆公式
命题2.2： 设分块矩阵
并且矩阵A,D,A-BD -1 C和D-CA -1 B均可逆，则下面的矩阵恒等式成立：
证明： 首先将矩阵V分块表示成如下形式：
根据矩阵逆的基本定义可知
基于式（2.9）可以得到如下4个等式：
由式（2.10）中的式（b）可知Y =-XBD -1 ，将其代入式（2.10）中的式（a）中可得
进一步可知
再由式（2.10）中的式（c）可知Z=-WCA -1 ，将其代入式（2.10）中的式（d）中可得
进一步可知
由式（2.11）至式（2.14）可知式（2.7）成立。
命题2.2得证。
推论2.2： 设分块矩阵
并且矩阵A,D,A-BD -1 C和D-CA -1 B均可逆，再假设E∈R k×n 为任意矩阵，则下面的矩阵恒等式成立：
证明： 根据命题2.2可知
于是式（2.16）成立。
推论2.2得证。
矩阵的秩表示矩阵的列或行向量中最大线性无关组所包含的向量个数，亦或表示矩阵的列或行向量张成的线性子空间的维数。因此，任意矩阵的秩都不会大于该矩阵的行数和列数。若矩阵的秩等于其列数，则称其为列满秩矩阵；若矩阵的秩等于其行数，则称其为行满秩矩阵。下面将介绍几个关于矩阵秩的重要结论。
命题2.3： 设矩阵A∈R m×n 和B∈R n×k ，并将它们的秩分别记为r 1 =rank[A]和r 2 =rank[B]，则矩阵AB的秩满足
证明： 下面分两种情况进行证明。首先考虑r 2 ≤r 1 的情况，这意味着r 2 =min{r 1 ,r 2 }，并且存在一系列初等变换矩阵的乘积P 1 和Q 1 （均为可逆矩阵）满足
用矩阵A左乘第二个等式两边可得
式中，
和
分别表示m×r
2
和m×（n-r
2
）阶矩阵。由于Q
1
是一系列初等变换矩阵的乘积，因此用它右乘AB不会改变秩，于是根据式（2.20）可得
接着考虑r 1 ≤r 2 的情况，这意味着r 1 =min{r 1 ,r 2 }，并且存在一系列初等变换矩阵的乘积P 2 和Q 2 （均为可逆矩阵）满足
用矩阵B右乘第二个等式两边可得
式中，
和
分别表示r
1
×k和（n-r
1
）×k阶矩阵。由于P
2
是一系列初等变换矩阵的乘积，因此用它左乘AB不会改变秩，于是根据式（2.23）可知
综合式（2.21）和式（2.24）可知式（2.18）成立。
命题2.3得证。
根据命题2.3可以得到如下推论。
推论2.3： 设矩阵A∈R m×n ，并令P和Q分别为任意m×m阶和n×n阶可逆矩阵，于是有
证明： 首先根据命题2.3可知rank[PA]≤rank[A]，又因为A=P -1 PA，再一次利用命题2.3可以证明rank[A]≤rank[PA]，综合可知rank[A]=rank[PA]。同理可以证明rank[A]=rank[AQ]，因此式（2.25）成立。
推论2.3得证。
命题2.4： 设矩阵A,B∈R m×n ，则有如下不等关系式：
证明： 由于“矩阵[AB]的列向量中最大线性无关组的向量个数”一定不大于“矩阵A的列向量中最大线性无关组的向量个数”与“矩阵B的列向量中最大线性无关组的向量个数”之和，于是有
又因为
，利用命题2.3可知
综合式（2.27）和式（2.28）可知式（2.26）成立。
命题2.4得证。
命题2.5： 设矩阵A∈R m×n 和B∈R n×k ，并将它们的秩分别记为r 1 =rank[A]和r 2 =rank[B]，则矩阵AB的秩满足
证明： 下面分三种情况进行证明。首先考虑m=n的情况，此时 A 为方阵，由r 1 =rank[A]可知存在一系列初等变换矩阵的乘积P和Q（均为n阶可逆矩阵）满足
再定义矩阵
则有rank[C]=n-r 1 ，并且满足等式A+C=P -1 Q -1 ，再结合命题2.3和命题2.4可知
接着考虑m＞n的情况，此时A为“竖高型”矩阵，于是一定存在某个m×（m-n）阶列满秩矩阵D
m×（m-n）
，使得该矩阵中的列向量与矩阵A中的列向量线性独立，再构造方阵
，则其秩满足
再构造矩阵
，则有
利用第一种情况的结果可知
最后考虑m＜n的情况，此时A为“扁平型”矩阵，不妨构造方阵
，于是有
再次利用第一种情况的结果可知
联合式（2.32）、式（2.35）和式（2.37）可知式（2.29）成立。
命题2.5得证。
根据命题2.5可以得到如下两个推论。
推论2.4： 设矩阵A∈R m×n ,P∈R r×m 和Q∈R n×k ，并且P是列满秩矩阵，Q是行满秩矩阵，则有
证明： 首先根据命题2.3可知rank[PA]≤rank[A]，再利用命题2.5可得
于是有rank[A]=rank[PA]。同理可以证得rank[A]=rank[AQ]，因此式（2.38）成立。
推论2.4得证。
推论2.5： 设矩阵A∈R m×n 和B∈R n×k ，若A是列满秩矩阵，则AB=O 当且仅当B=O。
证明： 这里仅需要证明，当AB=O时必有B=O即可。根据命题2.5中的结论可知
由式（2.40）可得rank[B]=0，由此可知B=O。
推论2.5得证。
关于矩阵的秩还有如下一些常用性质，限于篇幅这里不再证明：
（1）rank[A]=rank[A T ]=rank[A H ]=rank[A ∗ ]；
（2）rank[A]=rank[AA T ]=rank[A T A]=rank[AA H ]=rank[A H A]；
（3）rank[AB]+rank[BC]-rank[B]≤rank[ABC]。
本小节将介绍三种重要的矩阵分解，分别为特征值分解、奇异值分解和平方根分解。
（一）特征值分解
下面首先给出矩阵特征值和特征向量的定义。
定义2.1：设矩阵A∈R n×n ，若标量λ和向量u满足等式
则称λ和u为矩阵A的一对特征值和特征向量，特别地，若向量u满足
，则称其为单位特征向量。
根据定义2.1可知，矩阵特征值λ是n阶多项式det[A-λI n ]的根，因此对于任意n×n阶矩阵而言，它都有n个特征值（但可能相等）。下面将介绍几个关于实对称矩阵特征值和特征向量的重要结论。
命题2.6： 任意实对称矩阵A∈R n×n 的特征值都是实数。
证明： 设λ和u是矩阵A的任意一对特征值和特征向量，则有
利用向量u H 左乘式（2.42）两边可得
由于A是实对称矩阵，所以u H Au一定是实数，进一步由式（2.43）可知λ也是实数。
命题2.6得证。
根据命题2.6不难证明，任意实对称矩阵的每一个特征值都存在与之相对应的实特征向量。
命题2.7： 任意实对称矩阵A∈R n×n 的不同特征值所对应的特征向量是相互正交的。
证明： 设λ和η是矩阵A的不同特征值，它们相对应的特征向量分别为u和v，则有
由于A是实对称矩阵，η又是实数，于是有
比较式（2.44）和式（2.45），并结合λ≠η可知
命题2.7得证。
命题2.8： 设实对称矩阵A∈R n×n ，则存在正交矩阵V∈R n×n （即V T V =I n ）使得
式中，Σ=diag[λ 1 λ 2 λ n ]（其中λ k 是矩阵A的特征值），矩阵V中的向量是矩阵A的单位特征向量。
证明： 采用数学归纳法进行证明。当n=1时命题显然成立，现在假设对于n-1时命题成立，则对于n来说命题也是成立的。假设λ 1 是矩阵A的一个特征值，其所对应的单位实特征向量为u 1 ，由u 1 可以扩充到R n×1 上的标准正交基u 1 ,u 2 ,,u n 。若记U 1 =[u 1 u 2 u n ]，则U 1 是正交矩阵，并且有
当i=1时，满足
当 j=1时，满足
根据式（2.49）和式（2.50）可知矩阵
具有如下分块形式：
式中，B是（n-1）×（n-1）阶实对称矩阵，根据归纳假设可知存在正交矩阵U 2 ∈R （n-1）×（n-1） 使得
式中，Γ=diag[λ 2 λ 3 λ n ]（其中λ k 既是矩阵B的特征值，也是矩阵A的特征值）。若记V =U 1 ⋅blkdiag[1 U 2 ]，则V是正交矩阵，并且有
根据式（2.53）可知命题对于n来说也是成立的。
命题2.8得证。
根据命题2.8可知，任意实对称矩阵A∈R n×n 都可以表示成如下形式：
式中，矩阵V和Σ的含义同命题2.8。式（2.54）称为矩阵特征值分解。需要指出的是，并不是所有的矩阵都存在特征值分解的形式，但对于（半）正定矩阵而言，其特征值分解一定是存在的。
（二）奇异值分解
矩阵的奇异值分解可以通过下述命题的形式获得。
命题2.9： 设矩阵A∈R m×n ，并且其秩为r=rank[A]，则存在两个正交矩阵U∈R m×m 和V∈R n×n 使得
式中，Σ=diag[σ 1 σ 2 σ r ]（其中σ k ＞0称为奇异值），矩阵U和V中的向量分别称为左和右奇异向量。
证明： 由于A T A是半正定矩阵，其秩满足rank[A T A]=rank[A]=r，由此可知矩阵A T A的特征值中包含r个正值和n-r个零值，不妨将其所有特征值设为
并令Σ=diag[σ
1
σ
2
σ
r
]，其中
，根据命题2.8 可知存在正交矩阵V∈R
n×n
满足
进一步可知
将矩阵V按列分块表示为
，于是有
进一步可得
于是有
若令U 1 =AV 1 Σ -1 ，根据式（2.60）可知矩阵U 1 中的列向量是相互正交的单位向量，将其按列分块表示为U 1 =[u 1 u 2 u r ]，并扩充 m-r 个列向量 u r+ 1,u r+2 ,,u m 构造矩阵U 2 =[u r+1 u r+2 u m ]，使得U=[U 1 U 2 ]为正交矩阵，则有
命题2.9得证。
根据命题2.9可知，任意矩阵A∈R m×n 都可以表示成如下形式：
式中，矩阵U、V和Σ的含义同命题2.9。式（2.62）称为矩阵奇异值分解。
（三）平方根分解
平方根分解是针对半正定矩阵和正定矩阵而言的一种矩阵分解形式，具体内容可见下述命题。
命题2.10： 若 A∈R n×n 为（半）正定矩阵，则存在（半）正定矩阵B∈R n×n 满足A=B 2 。
证明： 由于A为（半）正定矩阵，因此其存在特征分解A=UΣU T ，其中U为特征向量矩阵，它是正交矩阵，对角矩阵Σ的对角元素为矩阵A的特征值（均为非负数），若将矩阵Σ中的正对角元素开根号（零元素保持不变）所得到的矩阵记为Σ 1/2 ，并令B=UΣ 1/2 U T ，则B必为（半）正定矩阵，并且满足A=B 2 。
命题2.10得证。
需要指出的是，本书将命题2.10中的矩阵B记为 B=A 1/2 ，其逆矩阵B -1 记为B -1 =A -1/2 。
本小节将介绍半正定矩阵和正定矩阵的定义和性质。
定义2.2：设对称矩阵A∈R n×n ，若对于任意的非零向量x∈R n×1 均满足x T Ax≥0，则称A为半正定矩阵，记为A≥O；若对于任意的非零向量x∈R n×1 均满足x T Ax＞0，则称A为正定矩阵，记为A＞O。
定义2.3：设两个对称矩阵A、B∈R n×n ，若A-B为半正定矩阵，则记为A≥B或B≤A；若A-B为正定矩阵，则记为A＞B或B＜A。
半正定矩阵和正定矩阵的一个重要性质是其特征值和对角元素均为非负数（半正定矩阵）和正数（正定矩阵））。因此，若A≥B，则有λ[A-B]≥0和tr[A]≥tr[B]；若A＞B，则有λ[A-B]＞0和tr[A]＞tr[B]。需要指出的是，正定矩阵一定是可逆矩阵（并且其逆矩阵也是正定的），但半正定矩阵却不一定是可逆矩阵。除此以外，这两类矩阵还有一些其他重要性质，具体可见下述一系列结论。
命题2.11：
设A∈R
n×n
为半正定矩阵，则
也是半正定矩阵。
证明：
对于任意非零向量
（其中x
1
∈R
m×1
和x
2
∈R
n×1
），利用A是半正定矩阵这一性质可知
根据式（2.63）及向量x的任意性可知
是半正定矩阵。
命题2.11得证。
命题2.12： 设A∈R n×n 为半正定矩阵，B∈R n×m 为任意矩阵，则B T AB是半正定矩阵。
证明： 对于任意的非零向量x∈R m×1 ，若令y=Bx，则利用A是半正定矩阵这一性质可知
根据式（2.64）及向量x的任意性可知B T AB是半正定矩阵。
命题2.12得证。
根据命题2.12可以直接得到如下两个推论。
推论2.6： 设B∈R m×n 为任意矩阵，则B T B是半正定矩阵。
推论2.7： 假设对称矩阵A 1 ,A 2 ∈R m×m 满足A 1 ≥A 2 ，并设B∈R m×n 为任意矩阵，则有B T A 1 B≥B T A 2 B。
命题2.13： 设A∈R m×m 是正定矩阵，B∈R m×n （m≥n）是列满秩矩阵，则B T AB是正定矩阵。
证明： 对于任意的非零向量x∈R n×1 ，利用矩阵B的列满秩性可知y=Bx是非零向量，再利用A是正定矩阵这一性质可知
根据式（2.65）及向量x的任意性可知B T AB是正定矩阵。
命题2.13得证。
根据命题2.13可以直接得到如下两个推论。
推论2.8： 设B∈R m×n （m≥n）是列满秩矩阵，则B T B是正定矩阵。
推论2.9： 假设对称矩阵A 1 ,A 2 ∈R m×m 满足A 1 ＞A 2 ，并设B∈R m×n （m≥n）为列满秩矩阵，则有B T A 1 B＞B T A 2 B。
命题2.14： 设B∈R n×n 为正定矩阵，则B T AB是正定矩阵的充要条件是A是正定矩阵。
证明： 首先假设A是正定矩阵，对于任意非零向量x∈R n×1 ，若记y=Bx，则根据矩阵B的正定性可知y为非零向量，于是有y T Ay=x T B T ABx＞0，由此可知B T AB是正定矩阵。
再假设B T AB是正定矩阵，则A一定是对称矩阵（否则矩阵B T AB的对称性无法保证），若 A不是正定矩阵，则一定存在某个非零向量 y∈R n×1 ，使得 y T Ay≤0，若令x=B -1 y，则由矩阵B -1 的正定性（正定矩阵的逆矩阵也是正定的）可知x为非零向量，于是有x T B T ABx=y T Ay≤0，这与B T AB是正定矩阵矛盾，因此A一定是正定矩阵。
命题2.14得证。
为了得到关于正定矩阵的另一个重要性质，下面首先给出如下引理。
引理2.1：若A∈R n×n 为正定矩阵，B∈R n×n 为半正定矩阵，则A≥B（或A＞B）的充要条件是λ max [BA -1 ]≤1（或λ max [BA -1 ]＜1）。
证明： 由命题2.12可知
根据式（2.66）可知，矩阵I n -A -1/2 BA -1/2 的所有特征值均大于等于0，由此可知矩阵A -1/2 BA -1/2 的所有特征值均小于等于1，即λ max [A -1/2 BA -1/2 ]=λ max [BA -1 ]≤1。根据命题2.13
可知上面的不等号可以换成严格不等号。
引理2.1得证。
命题2.15： 若A,B∈R n×n 均为正定矩阵，则A≥B（或A＞B）的充要条件是A -1 ≤B -1 （或A -1 ＜B -1 ）。
证明： 根据引理2.1可知
根据引理2.1可知式（2.67）中的不等号可以换成严格不等号。
命题2.15得证。
本小节将介绍 Moore-Penrose 广义逆矩阵和正交投影矩阵的相关结论，它们在最小二乘估计理论与方法中发挥着重要作用。
（一）Moore-Penrose广义逆矩阵
Moore-Penrose 广义逆是一种十分重要的广义逆，通过该矩阵可以构造矩阵列空间或其列补空间上的正交投影矩阵，其基本定义如下。
定义2.4：记矩阵A∈R m×n ，若矩阵X∈R n×m 满足以下4个方程：
则称X是矩阵A的Moore-Penrose广义逆，并记为X =A † 。
根据上述定义可知，若 A是可逆方阵，则有 A † =A -1 。另外，满足式（2.68）的Moore-Penrose 逆矩阵存在并且是唯一的，它可以通过矩阵A的奇异值分解获得，具体可见下述命题。
命题2.16： 设任意矩阵A∈R m×n 的Moore-Penrose广义逆存在并且唯一。
证明：
首先证明存在性。假设矩阵A的秩为
，若r=0，则A是m×n阶零矩阵，此时不难验证n×m阶零矩阵满足式（2.68）。若r＞0，则根据式（2.62）可将矩阵A进行奇异值分解：
式中，Σ=diag[σ 1 σ 2 σ r ]（其中σ k ＞0称为奇异值）。若令
式中，
，则不难验证矩阵X满足式（2.68），因此A
†
是存在的。
接着证明唯一性，假设存在两个矩阵X 和Y 均满足式（2.68），则根据 Moore-Penrose广义逆的定义可知
命题2.16得证。
对于列满秩矩阵和行满秩矩阵而言，Moore-Penrose 逆矩阵具有更加显式的表达式，具体可见下述命题。
命题2.17： 设矩阵A∈R m×n ，若A为列满秩矩阵，则有A † =（A T A） -1 A T ；若A为行满秩矩阵，则有A † =A T （AA T ） -1 。
证明： 若A为列满秩矩阵，则A T A是可逆矩阵，现将A † =（A T A） -1 A T 代入式（2.68）中的4个等式可得
由式（2.72）可知A † =（A T A） -1 A T 满足Moore-Penrose广义逆的4个条件。
若A为行满秩矩阵，则AA T 是可逆矩阵，现将A † =A T （AA T ） - 1代入式（2.68）中的4个等式可得
由式（2.73）可知A † =A T （AA T ） - 1满足Moore-Penrose广义逆的4个条件。
命题2.17得证。
关于Moore-Penrose逆矩阵还有如下一些常用性质，限于篇幅这里不再证明：
（1）（A † ） † =A,（A T ） † =（A † ） T ；
（2）rank[A]=rank[A † ]=rank[AA † ]=rank[AA † ]；
（3）（AA T ） † =（A T ） † A † ,（A T A） † =A † （A T ） † ；
（4）（AA T ） † （AA T ）=AA † ,（A T A） † （A T A）=A † A；
（5）A † =（A T A） † A T =A T （AA T ） † 。
（二）正交投影矩阵
正交投影矩阵在矩阵理论中具有十分重要的作用，其定义如下。
定义2.5：设S是R n 中的一个线性子空间，S ⊥ 是其正交补空间，则对于任意向量x∈R n×1 ，若存在某个n×n阶矩阵P满足
式中，x 1 =Px∈S和x 2 =（I n -P）x∈S ⊥ ，则称P是线性子空间S上的正交投影矩阵，I n -P是S正交补空间S ⊥ 上的正交投影矩阵。若S表示矩阵A的列空间，则本书将矩阵P 记为Π[A]，而将矩阵I n -P记为Π ⊥ [A]。
命题2.18： 设S是R n 中的任意线性子空间，则该子空间上的正交投影矩阵P 是唯一的，并且它是对称幂等矩阵，即满足P T =P和P 2 =P。
证明： 对于任意向量x∈R n×1 ，根据正交投影矩阵的定义可知
由向量x的任意性可知
由式（2.76）可知P是对称幂等矩阵。
接着证明唯一性，假设存在子空间S上的另一个正交投影矩阵Q（也是对称幂等矩阵），则对于任意向量x∈R n×1 ，满足
再由向量x的任意性可知P=Q，由此可知唯一性得证。
命题2.18得证。
根据命题2.18可以得到如下推论。
推论2.10： 任意正交投影矩阵都一定是半正定矩阵。
证明： 设P为某个正交投影矩阵，则根据命题2.18可将其表示为P=PP=P T P，再利用推论2.6可知P是半正定矩阵。
推论2.10得证。
另外，正交投影矩阵可以利用Moore-Penrose逆矩阵来表示，具体可见下述命题。
命题2.19： 假设任意矩阵A∈R m×n ，则其列空间和列补空间上的正交投影矩阵可以分别表示为
证明： 显然对于任意向量x∈R m×1 都可以进行如下分解：
式中，x 1 =Π[A]⋅x和x 2 =Π ⊥ [A]⋅x。下面仅需要证明x1∈range[A]和x 2 ∈range ⊥ [A]。根据式（2.78）可知
式中，y=A † x。另外，利用Moore-Penrose逆矩阵的性质可得
命题2.19得证。
根据命题2.19可以得到如下两个推论。
推论2.11： 假设A∈R m×n 是任意列满秩矩阵，则其列空间和列补空间上的正交投影矩阵分别表示为
推论2.11可以直接由命题2.17和命题2.19证得。
推论2.12： 若A∈R m×n 是列满秩矩阵，并且有Π[A]=I m 和Π ⊥ [A]=O m×m ，则A必为满秩方阵。
证明： 根据等式Π[A]=I m 和式（2.82）可知
又因为A是列满秩矩阵，于是有n≤m，再结合式（2.83）可知n=m，由此可知A为满秩方阵。
推论2.12得证。
命题2.20： 假设A∈R m×m 是正定矩阵，B∈R m×n 是列满秩矩阵，C∈R m×k 是任意矩阵，则有
证明： 由于A是正定矩阵，B是列满秩矩阵，根据命题2.13可知B T AB是正定矩阵，更是可逆矩阵。记A 1/2 是矩阵A的平方根，不难验证A 1/2 B是列满秩矩阵，并且根据推论2.10、推论2.11和命题2.12可以推得
进一步可知
命题2.20得证。
推论2.13： 假设A∈R m×m 是正定矩阵，B∈R m×n 是列满秩矩阵，则有
证明： 将命题2.20中的矩阵C取为C=A -1 可得
于是式（2.87）成立。
推论2.13得证。
命题2.21： 假设A∈R m×m 为正定矩阵，b是任意m维非零向量，根据向量b构造列满秩矩阵Φ（b）∈R m×（m-1） 使得b T Φ（b）=O 1×（m-1） ，则有如下等式：
证明： 命题2.21等价于证明如下等式：
式（2.90）左边可以表示为
式（2.90）右边可以表示为
另外，根据矩阵Φ（b）的列满秩性可知rank[A -1/2 Φ（b）]=rank[Φ（b）]=m-1，再结合等式
可知
由式（2.94）可知
于是式（2.90）成立。
命题2.21得证。
根据命题2.21可以得到推论2.14。
推论2.14： 假设A∈R （n+m）×（n+m） 为正定矩阵，b是任意m维非零向量，根据向量b构造列满秩矩阵Φ（b）∈R m×（m-1） 使得b T Φ（b）=O 1×（m-1） ，若令c=[b T O 1×n ] T ，则有如下等式：
证明： 推论2.14等价于证明如下等式：
式（2.97）左边可以表示为
式（2.97）右边可以表示为
根据矩阵Φ（b）的构造方式可以证得
根据式（2.100）可知
由式（2.101）可以进一步推得
于是式（2.97）成立。
推论2.14得证。
本小节将介绍多维函数分析中的梯度向量和Jacobi矩阵的相关概念。
（一）梯度向量
梯度向量是针对多维标量函数所定义的。梯度向量的定义如下。
定义2.6：假设多维标量函数 f（x）是关于n维向量x=[x 1 x 2 x n ] T 的连续且一阶可导函数，则其梯度向量定义为
若定义3个多维标量函数
、
和
，则它们的梯度向量分别为
上述3个梯度向量的计算公式在本书各章的数值算例中将会被多次使用。
（二）Jacobi矩阵
Jacobi矩阵是针对多维函数向量所定义的。Jacobi矩阵的定义如下。
定义2.7：假设有m 个多维函数构成函数向量 f（x）=[f 1 （x）f 2 （x）f m （x）] T （其中 T x=[x 1 x 2 x n ]），则其Jacobi矩阵定义为
根据上述定义可知，Jacobi矩阵中的第k行向量就是函数向量 f（x）中的第k个标量函数的梯度向量的转置。下面的命题给出了关于复合函数Jacobi矩阵的形式。
命题2.22： 设有2个函数向量 f 1 （y）和f 2 （x），其中x∈R n×1 ,f 2 （x）∈R m×1 ,y∈R m×1 ,f 1 （y）∈R k×1 ，定义复合函数 f（x）= f 1 （f 2 （x）），则复合函数向量 f（x）关于向量x的Jacobi矩阵可以表示为
式中，
和
分别表示函数向量 f
1
（y）和f
2
（x）的Jacobi矩阵。
证明： 根据复合函数的求导法则可知
根据式（2.109）可知式（2.108）成立。
命题2.22得证。