《数学之美》笔记
第五章、隐含马尔可夫模型 P76
隐含马尔可夫模型历史 P79，马尔可夫假设：随机过程中各个状态St的概率分布，只与它的前一个状态St-1有关。符合这个假设的随机过程则称为马尔可夫过程，也称为马尔科夫链。
隐含马尔可夫模型：
公式推导：
将（5.5）代入（5.3），正好得到（5.4）。
二、隐含马尔可夫模型的训练 P82
第三个问题中：用鲍姆-韦尔奇算法（Baum-Welch Algorithm）P84
第六章 信息的度量和作用
1 信息熵
信息量就等于不确定性的多少
第十四章 余弦定理和新闻的分类 P155
第十五章 矩阵运算和文本处理中的两个分类问题 P164
利用矩阵运算中的奇异值分解（Singular Value Decomposition，SVD）
三个小矩阵各自含义的解释 P166
第一个矩阵X是对词进行分类的一个结果，它的每一行表示一个词，每一列表示一个语义相近的词类，或者简称为语义类。
最后一个矩阵Y是对文本的分类结果。它的每一列对应一个文本，每一行对应一个主题。
中间的矩阵则表示词的类和文章的类之间的相关性。
第二十章 谈谈最大熵模型
最大熵原理指出，需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。
最大熵模型：一个指数函数
第二十四章 马尔可夫链的扩展——贝叶斯网络
emmm，在看这一章之前听过朴素贝叶斯，自己又百度了一下~贴个网址哈：
http://blog.csdn.net/amds123/article/details/70173402
第二十五章 条件随机场和句法分析