让gydF4y2Ba
xgydF4y2Ba1gydF4y2Ba,gydF4y2BaxgydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaxgydF4y2BangydF4y2Ba观察gydF4y2Ba
ngydF4y2Ba独立的gydF4y2Ba同分布gydF4y2Ba随机变量gydF4y2Ba从gydF4y2Ba概率分布gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba,在那里gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba已知是来自于gydF4y2Ba家庭gydF4y2Ba的分布gydF4y2Ba
fgydF4y2Ba这取决于一些参数gydF4y2Ba
θgydF4y2Ba.例如,gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba可能是来自某某家族的gydF4y2Ba正态分布gydF4y2Ba
fgydF4y2Ba,这取决于参数gydF4y2Ba
σgydF4y2Ba(标准差)和gydF4y2Ba
μgydF4y2Ba(平均),gydF4y2Ba
xgydF4y2Ba1gydF4y2Ba,gydF4y2BaxgydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaxgydF4y2BangydF4y2Ba会是来自gydF4y2Ba
fgydF4y2Ba0gydF4y2Ba.gydF4y2Ba
MLE的目标是最大化gydF4y2Ba似然函数gydF4y2Ba:gydF4y2Ba
lgydF4y2Ba=gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba1gydF4y2Ba,gydF4y2BaxgydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaxgydF4y2BangydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba=gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba1gydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba×gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba2gydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba×gydF4y2Ba...gydF4y2Ba×gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2BangydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba
通常,gydF4y2Ba平均对数似gydF4y2Ba函数更容易使用:gydF4y2Ba
ℓgydF4y2Ba^gydF4y2Ba=gydF4y2BangydF4y2Ba1gydF4y2Ba日志ydF4y2BaggydF4y2BalgydF4y2Ba=gydF4y2BangydF4y2Ba1gydF4y2Ba我gydF4y2Ba=gydF4y2Ba1gydF4y2Ba∑gydF4y2BangydF4y2Ba日志ydF4y2BaggydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba我gydF4y2Ba∣gydF4y2BaθgydF4y2Ba)gydF4y2Ba
MLE最终有几种工作方式:它可以发现参数gydF4y2Ba
θgydF4y2Ba根据给定的观测,它可以发现多个使似然函数最大化的参数,它可以发现不存在最大值,甚至可以发现不存在到最大值和的封闭形式gydF4y2Ba数值分析gydF4y2Ba找到MLE是必要的。gydF4y2Ba
尽管mle不一定是最优的(在某种意义上,有其他估计算法可以获得更好的结果),但它有几个吸引人的特性,其中最重要的是gydF4y2Ba一致性gydF4y2Ba: mle序列(在不断增加的观测数量上)将gydF4y2Ba收敛gydF4y2Ba转换为参数的真值。下面是一个例子,与其他估计算法相比,MLE可能会给出略差的结果:gydF4y2Ba
17gydF4y2Ba
18gydF4y2Ba
30.gydF4y2Ba
34gydF4y2Ba
一家航空公司给他们的飞机编号gydF4y2Ba
1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba,gydF4y2Ba...gydF4y2Ba,gydF4y2BaNgydF4y2Ba,gydF4y2Ba你观察下面三个平面,它们是从gydF4y2Ba
NgydF4y2Ba飞机:gydF4y2Ba
最大似然估计是什么gydF4y2Ba
NgydF4y2Ba?gydF4y2Ba换句话说,什么值gydF4y2Ba
NgydF4y2Ba根据条件概率,你的观察结果最有可能吗?gydF4y2Ba