【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》

《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering for Intra Frames》阅读笔记


problems

深层网络需要考虑退化和训练难度的问题


motivation
提出RRCNN,有利于实现深层网络,在增强学习能力的同时而不需考虑退化问题,

  • 递归使用一组权值,利用更少的参数实现好的效果。
  • shortcut connections 降低训练难度。
  • 亮度色度分别训练网络以适应不同通道的特点。
  • 引入CTU control flag作为RDO控制

Residual Learning & Recursive Learning

【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
d中这样的shortcut connection,文中好像并没有描述其他好处,应该是易于训练吧。
【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
可以从图中看到,RRCNN有着最好的效果,并且利用了最少的参数。

network
【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
结构很简单,对于亮度网络,输入为亮度分量和QPmap,经过一层卷积后,递归重复使用2层卷积层(包括BN和relu层),
(至于这里为什么没有和色度网络一样,加入色度分量,大概是效果不好,作者就没加吧,猜测)


Integration in the HEVC Framework
【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
这里的RDO:
【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
D i ′ D'_i Di D i D_i Di分别代表第i个CTU的RRCNN和传统滤波器的平方和误差。
【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》
文中c设为0.57, R i R_i Ri代表第i个CTU的SAO参数的编码数。
如果 J i J_i Ji小于0 ,flag=true;应用RRCNN
同时,应用帧flag作用于全帧。
这个RDO只用在luma component上,因此Chroma components滤波效果好。


results

【论文笔记】(HEVC)《Recursive Residual Convolutional Neural NetworkBased In-Loop Filtering ..》


contributions
1、提出了一个深层递归残差卷积网络,网络可以利用递归和残差学习,使用更少的参数实现精确的映射
2、提出色度和亮度不同的网络设计