最优估计与滤波及其应用

作者简介

内容简介

第1章 最优估计的基本理论
　　1.1 统计参数估计
　　1.1.1 最大似然估计
　　假设表示在参数θ出现的条件下，观测数据 x的条件概率密度函数，它被称为似然函数，则最大似然估计(Maximum Likelihood Estimation，MLE)估计器为
　　(1-1)
　　注意：①在时，为最，x是不变的，而θ是变化的。当可能不是唯一的。③如果对于θ存在二阶导数，且则可通过来得到。④通常，可能是有偏的。
　　最大似然估计有如下性质。
　　①MLE的渐近特性。如果数据 x的似然函数满足某些“正则”条件，即对数似然函数的导数存在，且费舍尔(Fisher)信息非零，那么对于足够多的数据记录，未知参数θ的MLE渐近服从正态(高斯)分布，即MLE具有渐近无偏特性，其方差可以达到最小值，并且具有高斯分布，因此，MLE是渐近有效估计，也是渐近最优的。
　　②MLE的不变性。参数的，其中，是θ的MLE，且g是一个一一对应的函数。
　　③线性模型的最佳MLE。如果观测数据X可以由一般线性模型表示，其中，已知H是一个秩为P的矩阵，且是一个被估计的P×1参数矢量，而且n是一个概率密度函数为N(0， C)的噪声矢量，那么，θ是一个有效估计量，它的方差达到了最小。θ的概率密度函数为。
　　一般情况下，MLE的求法有两种，即求导法和搜索法。
　　1.1.2 无偏估计的克拉美-罗下界
　　1．标量参数的克拉美-罗下界(Crame-Rao Lower Bound，CRLB)
　　定理1-1假设观测数据矢量的概率密度函数满足正则性条件，该式对所有θ成立，期望是针对取的，则任意无偏估计的方差满足
　　(1-2)
　　其中，导数是在θ的真实值处取值的，期望是针对取的，令
　　(1-3)
　　式(1-3)被称为克拉美-罗下界。而
　　(1-4)
　　式(1-4)被称为 Fisher信息函数，其中。
　　进一步，当且仅当，则是一个最小方差无偏估计，且满足。
　　注意：①CRLB为所有无偏估计的性能提供一个比较的标准。②CRLB与估计算法无关，只与信号模型有关。③CRLB(θ)是一个未知参数θ的确定性函数。④无偏且达到CRLB(θ)的估计称为θ的“有效估计”。当最小方差(Minimum Variance Unbiased，MVU)估计的方差等于CRLB时，MVU估计是一个有效估计，若未达到CRLB，则不是有效估计。⑤仅适用于无偏估计，对有偏估计，另有公式。⑥因为，所以。该式便于计算，另外也说明是一个非负的函数。⑦对于独立观测，其每次观测到的是可加的。即对N次IID观测，其，其中，是一次观测的Fisher信息函数，因此。但是，对于非独立N次观测。对于完全相关的观测，附加的观测没有任何信息，即。因此，CRLB不会随数据长度的增加而减少。
　　2．标量参数变换的CRLB
　　如果，那么
　　(1-5)
　　例如，而。
　　如果若且则，是线性变换；如果不是线性变换，则将渐近达到CRLB(a)。
　　3．矢量参数的CRLB
　　定理1-2假设条件概率密度函数满足“正则”条件，其中，对于所有的的X，数学期望是对求出的，那么，任何无偏估计量的协方差矩阵满足，其中解释为矩阵是半正定，Fisher信息矩阵由下式给出
　　(1-6)
　　其中，导数是在θ的真值上计算的。另外，对于某个p维函数和某个维，其矩阵，当且仅当成立，则无偏估计量协方差矩阵可达到，并且它是MVU估计。而对于任何无偏估计，则。
　　一般情况下，是非对角矩阵。
　　4．矢量参数变换的CRLB
　　是r维函数，θ是p维矢量，则其中，解释为矩阵是半正定，是维雅可比矩阵。
　　(1-7)
　　5．一般高斯情况下的CRLB
　　假定，其中，可能是θ(θ是p维矢量)的函数。是N×1维矢量，维矩阵，则Fisher信息矩阵为
　　(1-8)
　　(1-9)
　　其中，
　　对于θ是标量的情况，
　　(1-10)
　　6．有多余未知参数的情况
　　假定是Dw维感兴趣的参数，θu是Du维不感兴趣的参数(多余)，则；利用矩阵逆公式，则
　　(1-11)
　　其中，表示多余未知参数对感兴趣参数的估计误差的影响，若是完全解耦的。
　　1.2 最小均方误差滤波器
　　1.2.1 维纳滤波器
　　基于一组不同的但相关的信号序列，估计期望信号序列，使估计的均方误差(Mean Square Error，MSE)1最小。2即目标函数为，
　　(1-12)
　　其中，是有限的和如果，估计信号为。当时，称为滤波；当时，称为平滑；当时，称为预测。如果估计信号为，称为解卷积。其中，是一个线性时不变系统的冲激响应。
　　维纳滤波器的解如图1-1所示。
　　当是有限脉冲响应(Finite Length Impulse Response，FIR)滤波器的脉冲响应时，称为FIR滤波器。当是无限脉冲响应(Infinite wnLength Impulse Response，IIR)滤波器的脉冲响应时，称为IIR滤波器。
　　图1-1 维纳滤波器
　　1.2.2 FIR维纳滤波器
　　假设是联合平稳的，它具有已知的自相关函数和已知的互相关函数，令，则信号估计
　　(1-13)
　　对于给定的整数m，确定使 MSE最小的，即
　　所以，和是正交的。因为
　　进一步，有
　　所以
　　(1-14)
　　其中。式(1-14)称为维纳-霍夫等式，它的矩阵形式为
　　(1-15)
　　其中，得到维纳滤波器的系数为
　　(1-16)
　　其中，是事先已知的互相关函数矢量。 Rx是P×P的Hermitian Toeplitz矩阵，它是事先已知的自相关矩阵。wo是维纳滤波器的最优权矢量。此时，维纳滤波器的最小均方误差(Minimum Mean Square Error，MMSE)为
　　(1-17)