【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering for Intra Frames》阅读笔记
problems
深层网络需要考虑退化和训练难度的问题
motivation
提出RRCNN,有利于实现深层网络,在增强学习能力的同时而不需考虑退化问题,
- 递归使用一组权值,利用更少的参数实现好的效果。
- shortcut connections 降低训练难度。
- 亮度色度分别训练网络以适应不同通道的特点。
- 引入CTU control flag作为RDO控制
Residual Learning & Recursive Learning
d中这样的shortcut connection,文中好像并没有描述其他好处,应该是易于训练吧。
可以从图中看到,RRCNN有着最好的效果,并且利用了最少的参数。
network
结构很简单,对于亮度网络,输入为亮度分量和QPmap,经过一层卷积后,递归重复使用2层卷积层(包括BN和relu层),
(至于这里为什么没有和色度网络一样,加入色度分量,大概是效果不好,作者就没加吧,猜测)
Integration in the HEVC Framework
这里的RDO:
D
i
′
D'_i
Di′和
D
i
D_i
Di分别代表第i个CTU的RRCNN和传统滤波器的平方和误差。
文中c设为0.57,
R
i
R_i
Ri代表第i个CTU的SAO参数的编码数。
如果
J
i
J_i
Ji小于0 ,flag=true;应用RRCNN
同时,应用帧flag作用于全帧。
这个RDO只用在luma component上,因此Chroma components滤波效果好。
results
contributions
1、提出了一个深层递归残差卷积网络,网络可以利用递归和残差学习,使用更少的参数实现精确的映射
2、提出色度和亮度不同的网络设计