李宏毅:evaluation of generative model
1、likelihood
无法获得likelihood
解决办法:可以先用generator产生一把sample;接下来再用这把sample,用另外一个比较简单的distribution去approximate你的generator。
2、likelihood vs quality
用generator产生出来的image,它的quality和likelihood不见得是有一定的关系的。
3、如何衡量你产生的image的好坏(quality)
把某一张generator产生的image丢入CNN,如果得到的distribution越分散,就代表产生的image越差。如果分布越集中(entropy 越低),则产生的image越好。
4、如何衡量你的model是否能产生多样化的image(产生出来的image有没有diverse)
分别把generator产生的image放到CNN中,得到不同的distribution,计算他们的distribution之和,越大说明图片越分散,越不同。
5、如何把上述两个要求结合在一起(quality+diverse)
Inception Score
cross entropy越大越好,因为我们希望image之间的相似度越小越好。negative entropy越大越好。总体上来说就是希望Inception Score越大越好。
6、K-Nearest Neighbor
有时候你会想要检查machine是否生成新的image。你希望generator产生的image是你的database中没有的。
有时候可能只是移动了一个像素点,就可能会认为产生了不同的两张image(wrong)。
7、model collapse