在上一篇文章【1】中，我们已经得到了与最大熵模型之学习等价的带约束的最优化问题：
注意上述公式中还隐含一个不等式约束即 P(y|x)≥0。求解这个带约束的最优化问题，所得之解即为最大熵模型学习的解。本文就来完成这个推导。
现在这里需要使用拉格朗日乘数法，并将带约束的最优化之原始问题转换为无约束的最优化之对偶问题，并通过求解对偶问题来求解原始问题。首先，引入拉格朗日乘子
，并定义拉格朗日函数L(P, w)：
According to [7],
最后
以上就是矮小盼望最近收集整理的关于最大熵模型（MaxEnt）：万法归宗（下）的全部内容，更多相关最大熵模型（MaxEnt）内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复