（二）简单的NLP实例
1、情感分析
1）数据：
s1=’this is a good book’
s2=’this is a awesome book’
s3=’this is a bad book’
s4=’this is a terrible book’
2）把数据处理成向量：（不关心单词出现的顺序）
统计上面文档出现过的所有单词有’this、is 、a 、good 、awesome、 bad、 terrible、 book’共8个；
句子例如：s1=[1 1 1 1 0 0 0 1]表示awesome、 bad、 terrible没出现，其他单词都出现，句子长度为所有单词总数8。
3）分别给句子s1、s2、s3、s4贴上lable作为训练集，然后用ML方法训练
2、文本相似度
| we | you | he | work | happy | are |
|---|---|---|---|---|---|
| 1 | 0 | 3 | 0 | 1 | 1 |
| 1 | 0 | 2 | 0 | 1 | 1 |
| 0 | 1 | 0 | 1 | 0 | 0 |
表格中，第一行表示句子”he he he,we are happy”,其他类似，不关心单词出现的顺序，即用元素评率表示文本特征，则文本的相似度计算如下：
3、文本分类
1）TF-IDF概念
TF: 即Term Frequency, 用来衡量⼀个term在⽂档中出现得有多频繁
TF(t) = (t出现在⽂档中的次数) / (⽂档中的term总数)
IDF: Inverse Document Frequency, 衡量⼀个term有多重要。
IDF(t) = log_e(⽂档总数 / 含有t的⽂档总数).
TF-IDF = TF * IDF
2）TF-IDF实例
⼀个⽂档有100个单词，其中单词baby出现了3次；且一共有10M的⽂档， baby出现在其中的1000个⽂档中。
那么，