简介

  目前很多sota的方法的结果在预测字典中的单词有很好的的效果，但是遇到图片中存在不存在字典中的单词的效果就不是很好。作者把这种现象称作为vocabulary reliance.作者发现（1）这种现象是普遍存在的，或多或少都会有这种情况（2）基于attention的方法在预测词典外的单词效果不好，而使用视觉特征的分割类的方法效果优秀。（3）内容建模和预测层相关。作者提出了一种结合基于attention和分割两种方法的训练策略，来减轻字典依赖这个现象，提升了识别的表现。

介绍

  针对这个现象，举个例子，aster会把university预测成为universiti。而有些低质量的图片却能够正确预测，在这片文章中，作者主要对比了crnn,fan,ca-fcn和aster。在IIIT-5k数据集上，发现在字典中的单词的预测正确率比在字典为的预测准确高15个点以上。 （gap）

贡献

• 提出了字典依赖这个问题，提出了分析的实验设置并研究
• 通过实验分析不同方法预测层的优势和局限。attention和segement。
• context modeling的选自和pred的选择有关。提出了如何针对不同的预测方式选择不同的内容建模的指导。
• 提出了一种简单的融合策略减轻字典依赖问题

数据集的设置

• ls 根据字典生成的数据集
• rs 随机采样字符生成的数据集，单词的长度分布和ls的单词长度分布相同。
• MS 两者的混合。

模型

• 预测层：CTC，attention，segmentation
• context module：BLSTM，pyramid pooling module none
  

指标

• general accuracy
• observation ability:模型使用视觉信息预测的能力（使用的训练集中的单词不是根据字典中选出，而是随机字符的排列组合）
• vocabulary learning ability：模型学习字典的能力（预测的图片中的单词全部在训练集中出现过）
• vocabulary generation:1-(gap(ls)-gap(rs))
• harmonic mean:上面OA，VA和VG的调和平均

分析

训练集

• 个人理解，如果全部都是字典中的图片，那么网络模型会趋向于预测出字典中的单词，因此混合了随机生成的数据集，会使得网络模型趋向于识别视觉特征而不过分依赖于单词的联系。

不同的预测层

• attention在不同的的数据及上训练，gap总是最大的。
• attention的方法在VA这个指标上效果最好，seg在vg这个指标上最好。atten和seg在oa的指标上差不多。

不同的内容建模模块

• 对于attention的decoder来说，使用bilstm提升VA。
• 对于CTC和seg来说，使用PPM提升VA。
• VA和VG不能能够同时的好。

推荐

不同情况下使用不同的模型组合。

• 如果大多数图片中的字出现在字典中，推荐使用bilstm-attention decoder
• 如果训练的数据集是有限字典的话，推荐使用seg的方法。

改进措施

  将attention和segementation分开两支训练，两支预测出来的概率得logits计算kl散度计算并入最后两支分别的loss。轮流梯度回归。

References

On Vocabulary Reliance in Scene Text Recognition