`
deepfuture
  • 浏览: 4411271 次
  • 性别: Icon_minigender_1
  • 来自: 湛江
博客专栏
073ec2a9-85b7-3ebf-a3bb-c6361e6c6f64
SQLite源码剖析
浏览量：80123
1591c4b8-62f1-3d3e-9551-25c77465da96
WIN32汇编语言学习应用...
浏览量：70323
F5390db6-59dd-338f-ba18-4e93943ff06a
神奇的perl
浏览量：103573
Dac44363-8a80-3836-99aa-f7b7780fa6e2
lucene等搜索引擎解析...
浏览量：286526
Ec49a563-4109-3c69-9c83-8f6d068ba113
深入lucene3.5源码...
浏览量：15041
9b99bfc2-19c2-3346-9100-7f8879c731ce
VB.NET并行与分布式编...
浏览量：67776
B1db2af3-06b3-35bb-ac08-59ff2d1324b4
silverlight 5...
浏览量：32284
4a56b548-ab3d-35af-a984-e0781d142c23
算法下午茶系列
浏览量：46072
社区版块
存档分类
最新评论

最小均方算法

 
阅读更多

最小均方算法，简称LMS算法，即least mean square。该算法广泛应用于自适应滤波算法中

在统计学中，均方差是对于无法观察的参数 \theta 的一个估计函数T;其定义为:

\operatorname{MSE}(T)=\operatorname{E}((T-\theta)^2),

即，它是"误差"的平方的期望值.误差就是估计值与被估计量的差. 均方差满足等式

\operatorname{MSE}(T)=\operatorname{var}(T)+(\operatorname{bias}(T))^2

其中

\operatorname{bias}(T)=\operatorname{E}(T)-\theta,

也就是说，偏差\operatorname{E}(T)是估计函数的期望值与那个无法观察的参数的差。

下边是一个具体例子.假设

X_1,\dots,X_n\sim\operatorname{N}(\mu,\sigma^2),

即X_1,\dots,X_n是一组来自正态分布的样本.　常用的两个对σ2 估计函数为:

 

\frac{1}{n}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2\ 　和　 \frac{1} {n-1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2

其中

\overline{X}=(X_1+\cdots+X_n)/n

为样本均值.

第一个估计函数为最大似然估计，它是有偏的,即偏差不为零,但是它的方差比第二个小. 而第二个估计函数是无偏的. 较小的方差某种程度上补偿了偏差,因此第二个估计函数的均方差比第一个要小.

另外,这两个估计函数的均方差都比下边这个有偏估计函数小

\frac{1}{n+1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2

这个估计函数使得形如c\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2 (其中c是常数)的均方差最小

分享到：
| matlab-minmax,rands
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Magicbox
Global site tag (gtag.js) - Google Analytics