深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。
CRF在NLP场景下的使用
-
把NLP问题化归为“标注问题”。
-
收集大量（已经标注好的）语料。
-
建立特征模板，由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多，但在训练过程中，经常重复出现的特征，其对应权值会得到强化，丌常出现的特征，权值会被自劢弱化。
-
训练，参数（权值）估计。确立模型。
-
给模型输入观测序列，模型预测其标注序列。从而解决标注问题。
CRF 可以用于:分词，词性标注，句法分析，新词识别。
命名实体识别
命名实体识别场景使用的技术汇总。
文本分类场景：
大体思路，
-
选取适当的特征及权重，将文本量化映射为向量穸间（样本穸间）中的向量（样本）
-
通过在样本穸间极建适当的分类器戒聚类解决文本分类问题，通过计算向量夹角余弦计算文本相似度
文本特征选取方法汇总。
分类器比较：
朴素贝叶斯分类器
-
SVM(优于贝叶斯、Rocchio、LLSF，与kNN效果相当)
-
kNN(效果与SVM同属最佳)
-
LLSF(稍逊于kNN与SVM)
-
决策树分类器
-
模糊分类器
-
Rocchio分类器
-
基于投票的分类方法
- 神经网络分类器（深度学习网络具有巨大収展潜力）