CNN可视化

https://github.com/scutan90/CNN-Visualization/blob/master/CNN可视化.md
https://github.com/utkuozbulak/pytorch-cnn-visualizations
参考文献：胡秀. 基于卷积神经网络的图像特征可视化研究[D].

对 CNN 模型的可解释性问题，也称之为深度可视化问题[35]。目前深度可视化方法主要分为两大类，一类通过前向计算直接可视化深度卷积网络每一层的卷积核以及提取的特征图，然后观察其数值变化。一个训练成功的 CNN 网络，其特征图的值会伴随网络深度的加深而越来越稀疏。

另一类可视化方法则通过反向计算，将低维度的特征图反向传播至原图像像素空间，观察特征图被原图的哪一部分**，从而理解特征图从原图像中学习了何种特征。经典方法有反卷积(Deconvolution)[36]和导向反向传播(Guided-backpropagation)。这两种方法能够在一定程度上“看到”CNN模型中较深的卷积层所学习到的特征。从本质上说，反卷积和导向反向传播的基础都是反向传播，即对输入进行求导。二者唯一的区别在于反向传播过程中经过 ReLU 层时对梯度的处理策略不同。虽然借助反卷积和导向反向传播方法，能够了解 CNN模型神秘的内部，但这些方法同时把所有能提取的特征都展示出来了，而对类别并不敏感，因此还不能解释 CNN 分类的结果。

https://blog.****.net/shenziheng1/article/details/85058430
窥探黑盒-卷积神经网络的可视化