01 数学与统计基础专家本域第 6 篇

熵与信息论

一句话越出人意料，它携带的信息就越多；语言模型的损失函数，量的正是这份“意外”

定义

信息论用“不确定性”来度量信息：一件越不可能发生的事，一旦发生，携带的信息量就越大；香农熵是随机变量的平均信息量。交叉熵衡量用一套概率分布去编码另一套分布的数据需要多少信息，KL 散度是其中多出的部分，困惑度则是交叉熵在语言模型里的等价比表达。

直观理解

“太阳明天照常升起”几乎不含信息，因为你早就料到；“明天会有一场日全食”则信息量巨大。信息的多少，取决于它让你有多意外。训练语言模型就是同一件事：尽量让它对下一段真实文本不感到意外。它报出的损失，正是这份“意外程度”的平均值。

图 1

香农的通信模型：信息量决定了压缩的极限，而熵就是那个极限

图 2

伯努利熵与交叉熵：当模型用均匀分布 q=0.5 编码时，交叉熵恒为 1 比特，它与真实熵 H(p) 之间的差正是 KL 散度（点击图例切换曲线）

01
信息量：越意外，信息越多
定义一个事件的信息量为 −log p：概率 p 越小，信息量越大；两个独立事件的信息量相加，正对应它们的概率相乘。取对数，就是为了让“信息可加”与“概率可乘”严丝合缝地对应起来，底数取 2 时单位就是比特。
02
熵：不确定性的平均度量
香农熵 H(X) = −Σ p log p，是所有取值信息量的加权平均，衡量这个随机变量有多难猜。抛一枚均匀硬币熵为 1 比特，是最难猜的情形；几乎必然发生的事熵接近 0。同一个取值集合上，分布越均匀，熵越大。
03
交叉熵：用错误模型编码真实世界的代价
交叉熵 H(P,Q) = −Σ p(x) log q(x)。这里“真实分布”是 P（数据），模型给出的是 Q。它等于真实熵 H(P) 加上用错分布多付的代价。训练语言模型，就是最小化交叉熵——也就是最小化模型对真实文本的意外程度。
04
KL 散度与困惑度：把代价和犹豫都摆出来
KL 散度 D(P‖Q) = H(P,Q) − H(P)，是交叉熵超出真实熵的那部分；它非负且不对称，因此不是距离。困惑度 = 2^{H(P,Q)}（自然对数下为 e^{H}），可以读作“模型在每一步平均犹豫在多少个等可能的选项之间”。在语言模型论文里，困惑度往往比交叉熵更直观。

H(P, Q) = − Σₓ P(x) log Q(x)

P 为真实分布（数据），Q 为模型分布。交叉熵越小，说明模型 Q 越接近数据 P；训练即最小化它。

图 4

语言模型在 WikiText-103 上的困惑度：数值越低，模型对真实文本越不意外（示意量级，取自公开报告）