语言模型

音字转换

S	da	jia	hao
T1	大	家	好
T2	打	架	好

为了知道拼音转换成哪一个翻译，我们可以求哪一个概率大

T = m a x (P (T 1), P (T 2))

因此需要先求

P (T)

那么怎么求一个句子的概率呢？假如一个句子 $S = w_{1}, w_{2}, \dots w_{l}$ 由 $l$ 个词组成。

\begin{aligned} P (S) & = p (w_{1}) p (w_{2} | w_{1}) p (w_{3} | w_{2}, w_{1}) \dots p (w_{l} | w_{l - 1}, w_{l - 2}, \dots w_{1}) \\ = \prod_{i = 1}^{l} p (w_{i} | w_{i - 1}, w_{i - 2}, \dots w_{1}) \end{aligned}

但是这有一个问题，假如字典中有L个词，我们计算第i个词的概率时，第

i

个词与前

i - 1

个词都有关系，就有

L^{i}

种可能,这就太可怕了。

语言模型
假如我们让第 $i$ 个词只与第 $i - 1$ 个词有关系，

P (S) = \prod_{i = 1}^{l} p (w_{i} | w_{i - 1}, w_{i - 2}, \dots w_{1}) = \prod_{i = 1}^{l} p (w_{i} | w_{i - 1})

我们让

w_{0} =< B O S >

即开始符，

w_{l + 1} =< E O S >

即结束符。这样就只有

L

种可能，我们计算第 $i$ 个词的概率就不需要再从头开始计算了，只需要就算前一个词就行了（这里指条件概率）
语言模型

掐指一算，这不就是一阶马尔科夫链吗
语言模型