让gydF4y2Ba
xgydF4y2Ba1gydF4y2Ba,gydF4y2BaxgydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaxgydF4y2BangydF4y2Ba观察从gydF4y2Ba
ngydF4y2Ba独立的gydF4y2Ba和同分布gydF4y2Ba随机变量gydF4y2Ba来自一个gydF4y2Ba概率分布gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba,在那里gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba已知是来自gydF4y2Ba家庭gydF4y2Ba的分布gydF4y2Ba
fgydF4y2Ba这取决于一些参数gydF4y2Ba
θgydF4y2Ba.例如,gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba可能是来自于gydF4y2Ba正态分布gydF4y2Ba
fgydF4y2Ba,这取决于参数gydF4y2Ba
σgydF4y2Ba(标准差)gydF4y2Ba
μgydF4y2Ba(平均),gydF4y2Ba
xgydF4y2Ba1gydF4y2Ba,gydF4y2BaxgydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaxgydF4y2BangydF4y2Ba就是观察gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba.gydF4y2Ba
MLE的目标是最大化gydF4y2Ba似然函数gydF4y2Ba:gydF4y2Ba
lgydF4y2Ba=gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba1gydF4y2Ba,gydF4y2BaxgydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaxgydF4y2BangydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba=gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba1gydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba×gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba2gydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba×gydF4y2Ba...gydF4y2Ba×gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2BangydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba
通常,gydF4y2Ba平均对数似gydF4y2Ba函数更容易使用:gydF4y2Ba
ℓgydF4y2Ba^gydF4y2Ba=gydF4y2BangydF4y2Ba1gydF4y2Ba日志ydF4y2BaggydF4y2BalgydF4y2Ba=gydF4y2BangydF4y2Ba1gydF4y2Ba我gydF4y2Ba=gydF4y2Ba1gydF4y2Ba∑gydF4y2BangydF4y2Ba日志ydF4y2BaggydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba我gydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba
MLE的工作方式有几种:它可以发现参数gydF4y2Ba
θgydF4y2Ba根据给定的观察结果,它可以发现使似然函数最大化的多个参数,也可以发现不存在最大值,甚至可以发现对最大值和不存在封闭形式gydF4y2Ba数值分析gydF4y2Ba是找到MLE的必要条件。gydF4y2Ba
尽管mle不一定是最优的(在某种意义上,还有其他的估计算法可以获得更好的结果),但它有几个有吸引力的特性,其中最重要的是gydF4y2Ba一致性gydF4y2Ba:一个mle序列(在不断增加的观测数量上)将gydF4y2Ba收敛gydF4y2Ba参数的真值。下面是一个例子,与其他估计算法相比,MLE可能会给出略差的结果:gydF4y2Ba
17gydF4y2Ba
18gydF4y2Ba
30.gydF4y2Ba
34gydF4y2Ba
一家航空公司给他们的飞机编号gydF4y2Ba
1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaNgydF4y2Ba,gydF4y2Ba你可以观察到以下三个平面,它们是从gydF4y2Ba
NgydF4y2Ba飞机:gydF4y2Ba
的最大似然估计是什么gydF4y2Ba
NgydF4y2Ba?gydF4y2Ba换句话说,什么值gydF4y2Ba
NgydF4y2Ba根据条件概率,你的观察是最有可能的吗?gydF4y2Ba