CRF与MRF的卷积实现

两篇15年较旧但比较不错的文章总结

第一篇

Conditional Random Fields as Recurrent Neural Networks

原文链接
https://arxiv.org/pdf/1502.03240.pdf
算法核心如下图所示
这里展示了图像分割的一种后处理算法 条件随机场
这里由条件随机场所得的能量函数基于平均场理论求解
   x_i 代表像素i的label取值
   E(x) 代表了loss
   ψu(xi)${\psi }_u(x_i)$ 代表了像素i的label为xi的loss
   loss的第二部分则考虑了像素之间的相关性
   fI$f_I$代表了像素i的特征,如位置,像素值等,wm$w^m$为各特征的权重
   k(,)则是一个度量函数


基于平均场给出P(X)的近似分布是Q(X)=∏iQ(Xi)$\prod _{i}Q(X_i)$

Initialization 是softmax
Message Passing 是卷积操作
Weighting Filter Outputs 是1*1卷积降维
Compatibility Transform 是1*1卷积操作
Adding Unary Potentials是残差连接
Normalizing 是softmax操作
其中Message Passing涉及全卷积太耗时
使用上下采样来近似此操作
详情见 https://arxiv.org/pdf/1210.5644.pdf
如此便将CRF的后处理变成了卷积操作 便可end-to-end训练

第二篇

Semantic Image Segmentation via Deep Parsing Network

原文链接 https://arxiv.org/pdf/1509.02634v1.pdf
这篇文章做了类似的东西 用卷积实现了马尔可夫随机场
能量函数E(y)

第一项
基于特征图I给出的loss

这一项被记为pui$p_i^u$
第二项
λk${\lambda }_k$是指某个组份
μk${\mu }_k$考虑了标签u,v和像素i,j的关系
d(j,z)是度量函数
和DenseCRF相比只考虑近邻像素

同上为了求argmin E(y) 用平均场近似得到P(y)的近似分布Q(y)

能量函数被转换为

而qui$q_i^u$ 由通过平均场近似 可被分解得

现在得到qui$q_i^u$后即可按照第一篇的idea用conv实现