神经网络迭代次数的简并和不可约谱项

“应当指出属于同一个不可约表示的几组波函数,属于不同的能级.因为这几组波函数虽然具有相同的变换性质。但并没有对称操作能使它们被此之间产生联系,也就没有理由希望它们的能级相同,偶然简并除外这样,

我们就可以把分子的全部波函数按对称性进行系统分类,分子的状态和能级用它所属的不可约表示来标记,通常叫做谱项.这种标记法能反映出状态的对称特征。”*

量子化学(徐光宪)P486

 

神经网络迭代次数的简并和不可约谱项

等边三角形有3条对称轴,绕轴旋转180度,360度都可以转成原样,就像没有转一样。所以绕轴旋转的对称操作有6个。同样绕中心旋转可以有120度,240度,360度3种可能的对称操作。因此使等边三角形保持对称共有9种旋转操作,这9种操作分属两类,比例是2:1.如果随机将这个三角形对称操作了100次,其中应该约有67次是绕轴旋转,33次是绕中心旋转。

 

(mnist0,2)---81*30*2---(0,1)(1,0)

用81*30*2的网络二分类mnist的0和2,将收敛标准设为1e-6,收敛199次,只能得到12个迭代次数

 

迭代次数

简并数量

占比/199

特征pave数量

27596

70

0.35175879

5

37592

66

0.33165829

7

47588

26

0.13065327

5

34602

7

0.03517588

3

18466

5

0.02512563

2

24606

5

0.02512563

2

28462

5

0.02512563

2

44598

5

0.02512563

5

17600

4

0.0201005

2

57584

4

0.0201005

4

14610

1

0.00502513

1

40288

1

0.00502513

1

 

迭代了199次却只有12个迭代次数,这个网络有81*30+30*2=2490个权重,2490个随机值都一样的可能性不大,平均准确率的数量也佐证了这一点,比如迭代次数27596出现了70次占比35%,但是其中有5个不同的分类准确率,表明网络收敛时的权重是不同的。

为什么会出现这种简并行为?

 

如果将训练集(mnist0,2)理解成是一个几何体,而将训练集*权重这个操作理解成是让训练集在一个多维空间里旋转,旋转了199次,却只有12个不可约特征值,可以猜测这个对象有12种对称操作。有12个能级,特征光谱有12条线。

神经网络迭代次数的简并和不可约谱项