这就是神经网络 18：深度学习-文字识别OCR-CRNN
概述
在之前项目中用过CRNN做OCR,我在这里记录一下我对这个算法的理解,我没有对比代码去看，主要结合别人的博客略读论文。
声明一下，主要参考了文末的《一文读懂CRNN+CTC文字识别》这篇文章，基本讲的非常易懂。另外，本算法的难点在于CTC的理解， 基本上参考文末的《Sequence Modeling
With CTC》这篇文章能够比较好的有个理解，参考资料里的另一篇博客《CTC算法详解》基本可以看做是对它的翻译，质量还行。但是整体来说，《一文读懂CRNN+CTC文字识别》这篇文章基本就够了，CTC讲的也很详细。
推理流程
网络主要分为卷积层、循环层和翻译层这三块。推理的时候，主要流程如下：
- 图像被缩放为32xWx3的大小（宽度不需要固定，高度固定为32就行）
- 经过卷积层之后，输出1x(W/4)x512大小的特征
- 上述特征作为循环层（LSTM）的输入。此时我们把这个特征当做一个序列，序列长度为T=W/4，每个1x512的特征被认为是一帧数据，共T帧。
- LSTM输出为TxN（N为数据集里的字符数），每一帧对应一个1XN的特征，softmax处理后可代表着一帧数据在所有字符上的分类概率
- 最后，翻译层把softmax处理后的数据翻译为后验概率最大的序列
- 预测序列做后处理，合并重复的字符，得到最终输出
卷积层网络结构
32xWx3的大小的图片经过卷积层之后，变为1x(W/4)x512大小的特征。也就是说它在垂直方向的缩放倍数为32，在水平方向的缩放倍数为4。
卷积层主要是为了从图像中提取特征序列，它的输出作为递归层的输入。这个网络是从VGG修改而来，在CRNN发表的年代这无可厚非，当前可以用ResNet等思想去做改进。
循环层
递归层对特征序列进行预测，每一帧的输出值经过softmax之后，表示这一帧数据在素有字符上的分类概率。
文章认为对于序列的预测，序列的前向信息和后向信息都有助于序列的预测，所以文章采用了双向RNN网络。LSTM神经元的结构和双向RNN结构如下图所示。
翻译层
翻译分为两种，一种是带字典的，一种是没有字典的。
这一块我不太熟。
loss函数
训练过程就是让下面的LOSS函数最小化：
P(X|Y)的计算思想如下：
因为LSTM的帧数是远大于最终输出字符数的，所以可能对应多种预测都对应正确的label（如下图）。上图中红框内对应一个路径上所有节点的概率乘积，上图蓝框中的符号表示所有正确路径的概率相加求和。所以我们的LOSS要做的就是让P(X|Y)最大化。
推理的时候显然不能找遍所有的路径比较P(X|Y)。所以推理的时候一般用贪心算法或者Beam Search（集束搜索）来快速找到一条或几条概率最大的路径作为候选。
CTC
CTC本身非常复杂，很难几句话说清的。
就说几个特点吧：
- CTC是一种Loss计算方法，用CTC代替Softmax Loss，训练样本无需对齐（这一点相当重要）
- 引入blank字符，解决有些位置没有字符的问题
- 通过递推，快速计算梯度
重点说一下第三点，一般来说会有很多种路径符合预测序列，怎么快速计算出他们的概率乘积乘积呢。这里利用了一个动态规划的算法来计算，一句话来说就是利用了类似HARR-like里的积分图技巧，递推计算。
CTC的一个非常不合理的假设是其假设每个时间片都是相互独立的，这是一个非常不好的假设。在OCR或者语音识别中，各个时间片之间是含有一些语义信息的，所以如果能够在CTC中加入语言模型的话效果应该会有提升。如果CTC前面接的是LSTM的话，每个序列的预测还算借助了上下文的，但是在CTC这边没有体现出来。
参考资料
good:Sequence Modeling
With CTC
good:详解CTC
good:一文读懂CRNN+CTC文字识别
这个方案是用GAN去水印，CTPN做文字检测，CRNN文字识别：一种去水印的营业执照识别方法