医疗知识图谱项目笔记（四）
for _ in range(9, 15)
_你可以当它是一个变量，但一般习惯不用这个变量。这个循环的作用是循环6次（9，10，11，12，13，14）
语言模型：是计算一个字符串是句子的概率的模型。
1.基于专家系统的语言模型
缺点：没有一种固定的规则可以归纳所有语言。如“真笑skr人”“雨女无瓜”就不能期待用专家系统来解决。
2.统计语言模型
P（s） = P（w1，w2,......,wn） = P(w1)P(w2|w1)P(w3|w1,w2).........P(wn|w1,w2,.......,wn-1)
求解方法：用词语在语料中的频率来作为概率的估算值。
P（wi）= count(wi)/N P(wi|wi-1) = P(wi, wi-1)/P(wi-1)= count(wi|wi-1)/count(wi-1)
缺点：
P(张三很帅) = P(张三)*P（很|张三）*P（帅|张三，很）
P(张很帅很帅) = P(张很帅)*P（很|张很帅）*P（帅|张很帅，很）
若语料中只出现了“张三很帅”而没有出现“张很帅很帅”，那么 P(张很帅)*P（很|张很帅）*P（帅|张很帅，很）=0，但是，这只是语料库没有无限大，这句话是有可能出现的，概率不应该为零。
发现问题：
句子越长，语料中出现这句话的概率就越低，按照公式计算就为0（这与现实相违背），所以我们应该找到一种方式，给与它合理的一个概率。
解决方法：
平滑处理，就是给那些从来没有在语料中出现过的词或词组一个比较小的概率。
如Laplace smoothing（拉普拉斯平滑）：每个词在原来出现次数的基础上加1
会导致有的概率变大（从零变到非零），有的概率变小（概率被稀释）
如：
A：0 P（A） = 0/1000 = 0 -----> P（A） = 1/ 1003 = 0.001
B: 990 P（B) = 990/1000 = 0.99 -----> P(B) = 991/1003 = 0.988
C:10 P（C） = 10/1000 = 0.01 -----> P(C) = 11/1003 = 0.011
拉普拉斯平滑后仍存在的问题：
解决了有些词频过低的问题，但是没有解决有些句子出现频率低的问题。
P(张三很帅) = P(张三)*P（很|张三）*P（帅|张三，很）
P(张三很桌子) = P(张三) * P(很|张三) * P(桌子|张三，很)
若语句中只有“张三很美”而没有以上两句话，那么“张三很帅”和“张三很桌子”的概率就是相等的（这不合理，明显“很帅”比“很桌子”出现的频率高）
问题：
1.参数空间过大
我们的最终目的就是训练得到模型，本质上就是的到模型参数。P(wi) P(wi|w1,w2,.....wi-1)
设有句子中有V个词,则：
P(w) ---->V个参数
P(wi|wi-1) ---->V^2个参数
P(wi|wi-1,wi-2)----->V^3个参数
若设句子长度为L，则参数空间为：V+V^2+.....+V^L (L为句子长度)
举个例子：1000个词，最大句子长度20，1000^20这个数太大太大了，不能忍受
2.数据稀疏严重
很多参数值为0（其实和参数空间过大是一个问题
解决这些问题：马尔科夫假设
下一个词的出现仅依赖于前面一个词或n个词
unigram（1-gram）：不依赖 （V）
bigram（2-gram）：依赖之前一个词 （V+V^2）
trigram(3-gram):依赖前面两个词 （V+V^2+V^3）
k-gram :依赖前面k-1个词 （V+V^2+V^3+....+V^k）
--------------------------------------------------------------------------------------------------------------------------------------
如何对比模型的好坏？
语言模型评价指标：困惑度（Perlexity）
(语言模型本质上是一个多分类问题，每一个词预测下一个词都有很多种结果)
P(S) = P(w1,w2,......,wn) = P(w1)P(w2|w1).....P(wn|w1,w2,...,wn-1)
困惑度： PP(S) =(P(w1,w2,......,wn))^(-1/n)
困惑度越小越好，P（S）越大，对S就越“不困惑”，困惑度就越小
爬虫---->数据处理：拿到数据----->分析数据结构------->总结模板--------->生成结果