数学之美 阅读笔记
持续更新……目前看到第8(of29)章，坚持，加油，不断学习。
资源推荐：穿越虫洞是作者在后记中提及的对自己非常有帮助的节目。还有霍金的时间简史和伽莫夫的从零到无穷大。这些资料的特点都是深入浅出地讲解深奥的物理或宇宙原理，可以让人从思想上领略物质运作规律。
一个句子是否合理，就看看它的可能性大小如何。——贾里尼克
统计语言模型是利用自然语言上下文相关的特性建立的数学模型。让计算机利用大量的数据通过统计模型进行建模。
消除不确定性的方法是从外部引入信息。例如网页搜索，就是通过用户给出的关键词来消除不确定性。如果关键词所引入的信息量不够，则应该挖掘新的信息，而不是引入人为的假设，玩弄各种公式和机器学习算法。应该学会合理利用信息。
由公式知，引入新的条件，会在一定程度上消除信息的不确定性，引入的条件越多，不确定性下降的越多，前提是：获取的条件信息要和研究的事物有关系。因此，也证明了二元模型比一元模型好，三元模型比二元模型好。自然语言处理的大量问题就是找相关的信息。
互信息是两个随机事件相关性的度量。
相对熵（又称KL散度）则用来衡量两个函数的相似性，公式如下。特别的，如果函数为概率密度函数，则可以度量两个随机分布的差异性。相对熵越大，两个函数的差异越大。
小结：统计语言模型是基于概率统计，信息论的一种语言模型，简单来说就是通过上下文给出某个位置概率最大的词的建模方法。模型的建立还依赖于相关信息的引入，巨大的统计样本空间（大数据），和各种定理原理（如马尔可夫假设，贝叶斯公式，信息熵，大数定理等等）。