【转】TextCNN
本文摘自:https://zhuanlan.zhihu.com/p/40651970
CNN 文本分类
采取 CNN 方法进行文本分类,相比传统方法会在一些方面有优势。
基于词袋模型的文本分类方法,没有考虑到词的顺序。
基于卷积神经网络(CNN)来做文本分类,可以利用到词的顺序包含的信息。如图展示了比较基础的一个用 CNN 进行文本分类的网络结构。CNN 模型把原始文本作为输入,不需要太多的人工特征。CNN 模型的一个实现,共分四层:
- 第一层是词向量层,doc 中的每个词,都将其映射到词向量空间,假设词向量为 k 维,则 n 个词映射后,相当于生成一张 n*k 维的图像;
- 第二层是卷积层,多个滤波器作用于词向量层,不同滤波器生成不同的 feature map;
- 第三层是 pooling 层,取每个 feature map 的最大值,这样操作可以处理变长文档,因为第三层输出只依赖于滤波器的个数;
- 第四层是一个全连接的 softmax 层,输出是每个类目的概率,中间一般加个 dropout,防止过拟合。
有关 CNN 的方法一般都围绕这个基础模型进行,再加上不同层的创新。
比如第一个模型在输入层换成 RNN,去获得文本通过 rnn 处理之后的输出作为卷积层的输入。比如说第二个是在 pooling 层使用了动态 kmax pooling,来解决样本集合文本长度变化较大的问题。比如说第三种是极深网络,在卷积层做多层卷积,以获得长距离的依赖信息。CNN 能够提取不同长度范围的特征,网络的层数越多,意味着能够提取到不同范围的特征越丰富。不过 cnn 层数太多会有梯度弥散、梯度爆炸或者退化等一系列问题。
为了解决这些问题,极深网络就通过 shortcut 连接。残差网络其实是由多种路径组合的一个网络,残差网络其实是很多并行子网络的组合,有些点评评书残差网络就说它其实相当于一个 Ensembling。