卷积神经网络文本分类模型TextCNN及Tensorflow实现
卷积神经网络的核心思想是捕捉局部特征。对于文本来说,局部特征就是由若干单词组成的滑动窗口,类似于N-gram。卷积神经网络的优势在于能够自动对N-gram特征进行组合和筛选,获得不同抽象层次的语义信息,并且由于权值共享机制,训练速度也比较快。
用于文本分类任务的卷积神经网络模型为TextCNN,具体原理见论文Convolutional Neural Networks for Sentence Classification
1) 输入层是一个N×K维的矩阵,N对应文章单词数,K为词向量维度。每个词的K维向量可以预先在其他语料库通过word2vec训练好,也可以作为未知参数由网络训练得到。上图的结构中表示输入有两个通道,一个词嵌入是静态的,训练过程中不在变化,另一个的初始化方式相同,不过会作为参数随网络训练过程变化。
2)第二层为1D的卷积层,卷积核的维度为h×K,K是固定的,与词向量维度一致,h可变化,可以定义不同尺寸的卷积核来提取特征。
3)第三层是池化层,可以采用1-Max池化,即每个卷积核提取出的特征取最大值,也可以使用K-Max池化,即选出前K个最大的特征。
4)将特征拼接成一维向量,接入一个全连接层并使用softmax进行分类。
代码实现如下(代码中的词嵌入部分作为未知参数由网络训练得到):
import tensorflow as tf
class TCNNConfig(object):
"""CNN配置参数"""
embedding_dim = 32 # 词向量维度
seq_length = 1000 # 序列长度
num_classes = 8 # 类别数
num_filters = 32 # 卷积核数目
kernel_sizes = [2, 4, 6, 8, 10] # 卷积核尺寸
vocab_size = 296 # 词汇表达小
dropout_keep_prob = 0.5 # dropout保留比例
learning_rate = 1e-3 # 学习率
regular_rate = 1e-4 # 正则化系数
batch_size = 64 # 每批训练大小
num_epochs = 16 # 总迭代轮次
print_per_batch = 100 # 每多少轮输出一次结果
class TextCNN(object):
"""文本分类,CNN模型"""
def __init__(self, config):
self.config = config
# 三个待输入的数据
self.input_x = tf.placeholder(tf.int32, [None, self.config.seq_length], name='input_x')
self.input_y = tf.placeholder(tf.float32, [None, self.config.num_classes], name='input_y')
self.keep_prob = tf.placeholder(tf.float32, name='keep_prob')
self.cnn()
def cnn(self):
"""CNN模型"""
# 词向量映射
with tf.device('/cpu:0'):
embedding = tf.get_variable('embedding', [self.config.vocab_size, self.config.embedding_dim],
initializer=tf.truncated_normal_initializer(stddev=0.1))
embedding_inputs = tf.nn.embedding_lookup(embedding, self.input_x)
pooled_outputs = []
for i, filter_size in enumerate(self.config.kernel_sizes):
# 根据卷积核尺寸个数分成多个平行的卷积层
with tf.name_scope("cnn-%s" % filter_size):
# 卷积层
conv = tf.layers.conv1d(embedding_inputs, self.config.num_filters, filter_size,
activation=tf.nn.relu)
# 1-Max池化
gmp = tf.reduce_max(conv, reduction_indices=[1])
pooled_outputs.append(gmp)
with tf.name_scope("dense"):
h_pool = tf.concat(pooled_outputs, 1) # 拼接所有卷积核的特征
dropout = tf.contrib.layers.dropout(h_pool, self.keep_prob) # dropout层,随机丢弃一些特征,防止过拟合
fc = tf.layers.dense(dropout, self.config.num_classes, name='fc') # 全连接层
with tf.name_scope("score"):
# 分类器
self.y_pred_prb = tf.nn.softmax(fc) # 概率
self.y_pred_cls = tf.argmax(self.y_pred_prb, 1) # 预测类别
with tf.name_scope("optimize"):
# 损失函数,交叉熵
cross_entropy = tf.nn.softmax_cross_entropy_with_logits_v2(logits=fc, labels=self.input_y)
self.loss = tf.reduce_mean(cross_entropy)
# 损失函数L2正则化
self.loss_reg = self.loss + tf.contrib.layers.apply_regularization(
tf.contrib.layers.l2_regularizer(self.config.regular_rate),
[v for v in tf.trainable_variables() if 'bias' not in v.name])
# 优化器
self.optim = tf.train.AdamOptimizer(learning_rate=self.config.learning_rate).minimize(self.loss_reg)
with tf.name_scope("accuracy"):
# 准确率
correct_pred = tf.equal(tf.argmax(self.input_y, 1), self.y_pred_cls)
self.acc = tf.reduce_mean(tf.cast(correct_pred, tf.float32))