1 min to read
最大熵模型
数学原理
什么是熵，物理上来讲是描述无序性或者是混乱程度的一个物理量；数学上来讲是描述变量的不确定性的衡量指标。
为什么是最大熵不是最小熵，个人理解是说很多事物客观上都是向着最大熵的方向发展，所以求最大熵模型更可以准确的描述客观事物。
熵的数学定义，如果一个随机变量X的可能取值为X = {x1, x2,…, xk}，其概率分布为P(X = xi) = pi（i = 1,2, …, n），则随机变量X的熵定义为：
负号放到最后，也可以写为：
Comments