神经网络迭代次数的简并和不可约谱项
“应当指出属于同一个不可约表示的几组波函数,属于不同的能级.因为这几组波函数虽然具有相同的变换性质。但并没有对称操作能使它们被此之间产生联系,也就没有理由希望它们的能级相同,偶然简并除外这样,
我们就可以把分子的全部波函数按对称性进行系统分类,分子的状态和能级用它所属的不可约表示来标记,通常叫做谱项.这种标记法能反映出状态的对称特征。”*
量子化学(徐光宪)P486
等边三角形有3条对称轴,绕轴旋转180度,360度都可以转成原样,就像没有转一样。所以绕轴旋转的对称操作有6个。同样绕中心旋转可以有120度,240度,360度3种可能的对称操作。因此使等边三角形保持对称共有9种旋转操作,这9种操作分属两类,比例是2:1.如果随机将这个三角形对称操作了100次,其中应该约有67次是绕轴旋转,33次是绕中心旋转。
(mnist0,2)---81*30*2---(0,1)(1,0)
用81*30*2的网络二分类mnist的0和2,将收敛标准设为1e-6,收敛199次,只能得到12个迭代次数
迭代次数 |
简并数量 |
占比/199 |
特征pave数量 |
27596 |
70 |
0.35175879 |
5 |
37592 |
66 |
0.33165829 |
7 |
47588 |
26 |
0.13065327 |
5 |
34602 |
7 |
0.03517588 |
3 |
18466 |
5 |
0.02512563 |
2 |
24606 |
5 |
0.02512563 |
2 |
28462 |
5 |
0.02512563 |
2 |
44598 |
5 |
0.02512563 |
5 |
17600 |
4 |
0.0201005 |
2 |
57584 |
4 |
0.0201005 |
4 |
14610 |
1 |
0.00502513 |
1 |
40288 |
1 |
0.00502513 |
1 |
迭代了199次却只有12个迭代次数,这个网络有81*30+30*2=2490个权重,2490个随机值都一样的可能性不大,平均准确率的数量也佐证了这一点,比如迭代次数27596出现了70次占比35%,但是其中有5个不同的分类准确率,表明网络收敛时的权重是不同的。
为什么会出现这种简并行为?
如果将训练集(mnist0,2)理解成是一个几何体,而将训练集*权重这个操作理解成是让训练集在一个多维空间里旋转,旋转了199次,却只有12个不可约特征值,可以猜测这个对象有12种对称操作。有12个能级,特征光谱有12条线。