2.2 统计信号处理中的若干预备知识

本节将介绍统计信号处理 ^[6～8] 中的若干预备知识，其中涉及克拉美罗界定理、最大似然估计及其渐近统计最优性分析（即在大样本条件下）、加权最小二乘估计及其与最大似然估计的等价性。

2.2.1 克拉美罗界定理

克拉美罗界给出了任意无偏估计（即估计均值等于真实值）所能够获得的估计方差的理论下界。为了给出克拉美罗界定理，这里首先介绍著名的Cauchy-Schwarz不等式。

引理2.2：设有3个连续可积的标量函数w（x）、g（x）和h（x），其中w（x）≥0，则有如下不等式关系：

当且仅当存在常数c满足g（x）=ch（x）时，式（2.110）中的等式成立。

基于引理2.2可以得到如下命题。

命题2.23： 假设m维随机观测向量y受到n（n≤m）维确定参量x的支配，并且其概率密度函数p（y|x）满足如下“正则”条件：

则关于x的任意无偏估计值 的方差矩阵满足

式中

并且当满足

时式（2.112）中的等式成立。

证明： 首先分析“正则”条件，注意到

式（2.115）若想对于任意x都成立，必须满足

即求导和积分可以互换次序。下面将利用“正则”条件证明式（2.113）中的第2个等式成立，根据“正则”条件可知

将式（2.117）两边再对＜x＞ _l 求偏导可得

由式（2.118）可知式（2.113）中的第2个等式成立。

基于上述分析，并利用“正则”条件可得

现假设有任意n维向量a和b，则根据式（2.119）可知

若令

则根据引理2.2给出的Cauchy-Schwarz不等式可以证得

由于向量b的任意性，不妨令b=（FISH（x）） ^-1 a，并将其代入式（2.122）中可得

因为 FISH（x）是正定矩阵，所以 a ^T （FISH（x）） ^-1 a≥0，将其代入式（2.123）中可得 ，再根据向量a的任意性可知式（2.112）成立。

根据引理2.2可知式（2.122）中等号成立的条件是存在常数c满足

再根据向量a的任意性可知

由式（2.125）可以推得

两边取数学期望可得

由式（2.125）和式（2.127）可知，当式（2.114）满足时，式（2.112）中的等号成立。

命题2.23得证。

需要指出的是，命题2.23中的FISH（x）称为未知参量 x的费希尔信息矩阵，而CRB（x）称为未知参量 x的克拉美罗界矩阵，这两个矩阵是互逆的关系，即有CRB（x）=（FISH（x）） ^-1 。

2.2.2 最大似然估计及其渐近统计最优性分析

假设m维随机观测向量y受到n（n≤m）维确定参量x的支配，并且其概率密度函数为p（y|x），则最大似然估计是通过寻找 ，使得p（y|x）取最大值，即有

下面的命题给出了最大似然估计渐近统计最优性的分析。

命题2.24： 假设m维随机观测向量y受到n（n≤m）维确定参量x的支配，其概率密度函数p（y|x）的对数函数ln（p（y|x））的一阶、二阶导数都存在，并且满足式（2.111）所示的“正则”条件，则其最大似然估计 服从渐近高斯分布，其均值向量为真实参量x，方差矩阵等于CRB（x）。

证明： 为了简化证明，这里假设观测向量 y由K个序列观测向量 构成，并且 服从独立同分布，相应的概率密度函数为p _k （y _k |x），于是有

根据命题2.23可知，关于未知参量x的Fisher信息矩阵FISH（x）可以表示为如下形式：

根据最大似然准则式（2.128）可知 满足如下等式：

利用一阶Taylor级数展开及中值定理可得

式中， （其中0＜ξ＜1）。由式（2.132）可以进一步推得

根据 的独立同分布性和大数定理可知

另外，根据式（2.129）可以推得

式中， 。根据 的独立同分布性可知 也是独立同分布序列，基

于此并根据中心极限定理可知式（2.135）服从渐近高斯分布，其均值向量和方差矩阵分别为

综合式（2.133）至式（2.136）可知

命题2.24得证。

根据命题2.24中的证明过程可知，最大似然估计的统计最优性只有在大样本数或小观测误差条件下才能成立（因为忽略了误差的二阶及其以上各项），随着样本数减少至或观测误差增大至某个阈值时，一阶误差分析方法将会失效，此时其参数估计误差往往会出现“陡增”现象，这一现象也称为“门限效应”。

2.2.3 加权最小二乘估计及其与最大似然估计的等价性

加权最小二乘估计是在高斯误差条件下最常使用的参数估计方法之一，它与最大似然估计是等价的。考虑如下观测模型：

式中，y∈R ^{m 1×} 表示观测向量；x∈R ^n×1 （n≤m）表示待估计的未知参量；n∈R ^m×1 表示观测误差，这里假设它服从零均值的高斯分布，并且其方差矩阵为Q=E[nn ^T ]。基于式（2.138）可知加权最小二乘估计可以表示为

式中，加权矩阵Q ^-1 的作用是为了抑制观测误差的影响。根据式（2.139）可以证明加权最小二乘估计与最大似然估计的等价性，具体可见下述命题。

命题2.25： 当误差向量n服从零均值的高斯分布时，加权最小二乘估计值 与最大似然估计值 是一致的。

证明： 当误差向量n服从零均值的高斯分布时，可以得到观测向量y的概率密度函数为

相应的对数似然函数为

于是，最大似然估计可以表示为

命题2.25得证。

命题2.24和命题2.25联合表明在零均值高斯误差条件下加权最小二乘估计的渐近统计最优性，其估计方差等于相应的克拉美罗界。另外，当式（2.138）中的f（x）是关于x的非线性函数时（即非线性观测模型），式（2.139）通常需要通过数值迭代的方式进行优化求解；当 f（x）是关于x的线性函数时（即线性观测模型），式（2.139）则存在最优闭式解。

下面不妨考虑如下线性观测模型：

式中，A∈R ^m×n （n≤m）为列满秩矩阵。基于式（2.143）的加权最小二乘估计可以表示为

式中， 和 。关于式（2.144）的最优闭式解的表达式可见下述命题。

命题2.26： 式（2.144）的最优解集可以表示为

式中，z表示任意n维列向量。当 为列满秩矩阵时，式（2.144）存在唯一最优解，其表达式为

证明： 将向量 进行如下分解：

于是有

由于式（2.148）中的第3个等号右边第二项与未知参量x无关，因此只需要考虑其中的第一项即可。不难证明，为了使 f（x）取最小值，需要向量x满足如下等式：

显然，式（2.149）的解集可以表示为向量 加上矩阵 的零空间 中的任意向量（该向量可以表示为 ），于是式（2.145）得证。进一步，当 为列满秩矩阵时， 为零空间，由此可知式（2.146）成立。

命题2.26得证。

根据命题2.26可以得到推论2.15。

推论2.15： 优化问题式（2.144）最优解集中具有最小范数的解为

证明： 根据式（2.145）可知其最优解的范数为

式（2.151）中的第2个等式利用了性质 。根据式（2.151）可知 是式（2.144）最优解集中具有最小范数的解。

推论2.15得证。

根据命题2.26 可知，当A为列满秩矩阵时（ 亦为满秩矩阵），式（2.144）存在唯一的最优闭式解，为

基于式（2.152）可以获得 的统计特性，具体可见下述命题。

命题2.27： 在线性观测模型条件下，加权最小二乘估计值 是x的无偏估计，并且其方差矩阵为

证明： 将式（2.143）代入式（2.152）中可得

根据式（2.154）可以进一步推得

命题2.27得证。

推论2.16： 在线性观测模型条件下，当误差向量n服从零均值的高斯分布时（方差矩阵为Q），加权最小二乘估计值 的方差等于克拉美罗界，并且有CRB（x）=（A ^T Q ^-1 A） ^-1 。

推论2.16可由命题2.25和命题2.27直接证得。 EYTgqUTlm2tVphbiNo1JEdLf0AaF7BV/qvlES+CJVrhJwjt2ide0O+Umt+l2wR3E