作文自动评分

通常都是手工收集特征，使用回归方法去预测分数

4 模型

• lookup table layer: embedding 层，使用预训练好的词向量
• Convolution layer: 卷积层，提取局部特征
• Recurrent layer: LSTM层
• Mean over time: 所有隐含层状态平均
• Linear layer with Sigmoid activation: dense层打分
• 均方差损失函数：$MSE(s, s*) = \frac{1}{N} \sum_{i=1}^N (s_i - s_i^*)^2$MSE(s,s∗)=N1​i=1∑N​(si​−si∗​)2
• 对比一个开源的系统（http://github.com/edx/ease）：这个使用手工提取特征

一些参数

• RMSProp: p=0.9
• learning rate 0.001
• mini-batch: 32, 50 epoch
• vocabulary size: 4000
• dropout: 0.5
• gradient clipped: 10
• embedding size: 50
• output dimension recurrent layer: 300
• cnn window size: 3, output dimension: 50

整个结构并没有什么难度，另外做了一些对比试验证明了现在这个结构的优越性

• LSTM, RNN, GRU
• CNN
• LSTM:avg(h), last(h), attentive(h)
• ensemble