语言模型

1.n元语法

语言模型

2.语言模型的性能评价

交叉熵:

语言模型
测试集概率表示:
语言模型

计算交叉熵H(T):
语言模型
(用均匀分布近似进行逼近计算,带入上面公式)
语言模型

3.数据平滑

3.1加法平滑

语言模型语言模型

3.2古德图灵计算法

语言模型
语言模型

3.3Jelinek-Mercer平滑方法


最大似然一元模型:
语言模型

将二元文法模型和一元文法模型进行线性差值:
语言模型语言模型

语言模型
出处:
《自然语言处理》宗成庆