一个与神经网络分类特征旋转不变性有关的实验
继续用《用神经网络分类两条夹角为θ的直线》的办法分类两条直线。
y=x*tanθ和y=x*tan(θ+20)
所不同的是这次让两条直线之间的夹角固定为20,让θ分别等于0,20...340,共18个值。观察网络迭代次数是否会随着θ的改变而改变。
得到的数据
0 |
20 |
40 |
60 |
80 |
100 |
120 |
140 |
160 |
180 |
200 |
220 |
240 |
260 |
280 |
300 |
320 |
340 |
|
δ |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
0.5 |
183.7437 |
174.7337 |
132.7638 |
51.0201 |
21.49246 |
46.23116 |
131.809 |
167.0251 |
176.3719 |
175.0905 |
163.2663 |
117.5578 |
43.77387 |
24.29146 |
47.94975 |
127.0955 |
149.4372 |
181.9045 |
0.4 |
6463.497 |
4839.407 |
2635.628 |
678.3769 |
145.2563 |
640.6382 |
2527.663 |
4584.739 |
6285.764 |
6307.126 |
4696.925 |
2431.477 |
695.2864 |
147.2714 |
675.2111 |
2511.668 |
4693.302 |
6486.025 |
0.3 |
7187.005 |
5663.256 |
3271.709 |
1135.869 |
210.1357 |
1115.668 |
3403.583 |
5306.648 |
7022.839 |
7268.864 |
5592.513 |
3096.452 |
1101.176 |
214.4774 |
1103.965 |
3174.739 |
5423.623 |
7131.663 |
0.2 |
7694.166 |
5980.442 |
3784.814 |
1417.477 |
300.2261 |
1520.256 |
3734.759 |
5964.92 |
7494.925 |
7713.915 |
6052.241 |
3634.261 |
1468.729 |
301.3719 |
1468.116 |
3684.286 |
6141.462 |
7687.322 |
0.1 |
8523.357 |
6744.332 |
4303.497 |
2097.704 |
528.1307 |
2221.884 |
4312.94 |
6724.246 |
8286.357 |
8421.166 |
6637.457 |
4099.668 |
2176.367 |
541.9598 |
2165.804 |
4190.678 |
6570.477 |
8427.055 |
0.01 |
11092.46 |
9211.055 |
6479.266 |
5400.181 |
9111.06 |
6526.307 |
6368.126 |
8905.221 |
11144.86 |
11222.1 |
9218.764 |
6324.874 |
5409.573 |
9033.136 |
5685.613 |
6259.563 |
9296.97 |
11036.3 |
0.001 |
16406.64 |
13799.87 |
11178.14 |
12984.04 |
90194.24 |
13322.17 |
11084.86 |
13740.24 |
16349.77 |
16252.28 |
13882.19 |
11009.56 |
12186.52 |
91557.81 |
13514.66 |
10861.02 |
13941.75 |
16058.69 |
9.00E-04 |
16656.88 |
14021.75 |
11547.07 |
15867.93 |
95077.97 |
13330.39 |
11527.73 |
14025.96 |
16721.31 |
16551.81 |
14081.7 |
11690.73 |
14364.44 |
118934.5 |
12176.46 |
11232.95 |
14285.61 |
16371.57 |
8.00E-04 |
16867.91 |
14545.45 |
12001.97 |
15595.08 |
124856.8 |
13729.79 |
11832.07 |
14496.26 |
16886.85 |
16755.82 |
14640.74 |
12029.25 |
13313.52 |
104256.4 |
15450.24 |
11624.08 |
14594.82 |
16878.63 |
7.00E-04 |
17469.43 |
14926.43 |
12373.55 |
17609.68 |
99316.23 |
14226.06 |
12166.15 |
14716.6 |
17321.31 |
17164.35 |
15079.52 |
12734.66 |
14149.2 |
137940.7 |
15032.8 |
12219.29 |
15058.62 |
17128.73 |
6.00E-04 |
17832.69 |
15491.31 |
12846.28 |
14680.06 |
107234.7 |
17264.59 |
12514.49 |
15154.94 |
17954.22 |
17634.17 |
15552.46 |
13314.08 |
15079.32 |
106885.5 |
15335.32 |
12870.77 |
15458.24 |
17905.65 |
5.00E-04 |
18730.19 |
16097.33 |
13634.06 |
17749.19 |
112417.5 |
16863.14 |
13269.44 |
15867.55 |
18333.61 |
18207.56 |
16195.79 |
13935.75 |
16474.55 |
131833.3 |
15697.25 |
13677.59 |
16003.11 |
18563.12 |
4.00E-04 |
19543.34 |
16987.46 |
14829.35 |
17721.2 |
123973.3 |
18916.87 |
14326.55 |
16557.45 |
19108.86 |
18921.52 |
16865.36 |
14650.08 |
19046.12 |
128215.1 |
18917.49 |
14652.08 |
16959.39 |
19523.26 |
3.00E-04 |
20722.5 |
18283.57 |
15955.3 |
21683.39 |
121096.5 |
21764.25 |
15959.52 |
18095.31 |
20368.87 |
20126.08 |
18131.64 |
15505.25 |
21190.66 |
120739 |
19454.93 |
15811.28 |
18153.76 |
20345.28 |
2.00E-04 |
22352.49 |
20154.09 |
17997.3 |
24049.25 |
194464.4 |
22251.16 |
18040.09 |
19814.57 |
22164.9 |
21960.05 |
19805.31 |
17945.96 |
21509.25 |
150811.1 |
23479.05 |
18057.3 |
19838.27 |
22240.5 |
1.00E-04 |
25682.17 |
23119.55 |
22530.28 |
29177.88 |
178503.8 |
32680.93 |
22100.06 |
23693.34 |
25407.28 |
25312.68 |
23311.04 |
23244.69 |
30022.71 |
183537.4 |
34095.23 |
22123.41 |
24014.31 |
25685.58 |
将收敛标准为3e-4,2e-4,1e-4的迭代次数画成图
很明显至少对这个实验而言,网络的分类特征是关于x轴对称,关于y轴对称,同时关于原点对称的。
但这个神经网路的分类特征关于旋转操作是不对称的。
比如两组直线
1:y=x*tan(0)和y=x*tan(20)
2:y=x*tan(20)和y=x*tan(20+20)
这两组直线之间的夹角都是20,但是δ=1e-4时这两组直线的迭代次数分别是25682和23119.也就表明对这个系统而言并没有分类特征的旋转不变性。旋转操作是有可能改变体系的分类特征的。
比如如果将迭代次数理解成是引力的一种外在表象,而将质量理解成正比于两个对象之间的交叉程度。在两条直线夹角不变的情况下,等效交叉如果是不变的,那只能是二者之间的距离发生了改变。
1:y=x*tan(0)和y=x*tan(20) 的距离r1
2:y=x*tan(20)和y=x*tan(20+20) 的距离r2
如果迭代次数n1>n2,表明引力G1>G2,在m1,m2不变的情况下,则可得到r2>r1.
表明随着角度的增加两个对象之间的距离实际上减小了。
但两条之间的夹角是不变的,距离为什么会减小,比如假设r1=r2,但测量r1的尺子的单位是厘米,而测量r2的尺子的单位是米。则在r1=r2的情况下将得到r2>r1.也就是假设这个空间的度规不是均匀的。
再比较分类准确率
0 |
20 |
40 |
60 |
80 |
100 |
120 |
140 |
160 |
180 |
200 |
220 |
240 |
260 |
280 |
300 |
320 |
340 |
|
δ |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
0.5 |
0.501332 |
0.500312 |
0.500698 |
0.512196 |
0.530452 |
0.502701 |
0.504497 |
0.500563 |
0.500389 |
0.500636 |
0.500508 |
0.503869 |
0.508809 |
0.525374 |
0.504153 |
0.501151 |
0.501367 |
0.502289 |
0.4 |
0.942379 |
0.849523 |
0.719271 |
0.648573 |
0.725598 |
0.634877 |
0.721209 |
0.805852 |
0.948726 |
0.927276 |
0.860927 |
0.683018 |
0.656606 |
0.754317 |
0.652239 |
0.697075 |
0.778711 |
0.949073 |
0.3 |
0.957653 |
0.888789 |
0.868407 |
0.854583 |
0.782151 |
0.861299 |
0.893879 |
0.893879 |
0.952719 |
0.95196 |
0.89955 |
0.857523 |
0.845779 |
0.801374 |
0.87742 |
0.879008 |
0.884033 |
0.964794 |
0.2 |
0.967598 |
0.920736 |
0.892585 |
0.878902 |
0.813251 |
0.879882 |
0.912736 |
0.924332 |
0.963746 |
0.967475 |
0.924485 |
0.887319 |
0.876872 |
0.8195 |
0.899661 |
0.906626 |
0.921616 |
0.977158 |
0.1 |
0.979417 |
0.949809 |
0.920264 |
0.904613 |
0.836902 |
0.897538 |
0.93551 |
0.952 |
0.981568 |
0.981822 |
0.952317 |
0.925427 |
0.89302 |
0.884304 |
0.905776 |
0.933497 |
0.950141 |
0.985658 |
0.01 |
0.995751 |
0.979126 |
0.970379 |
0.980271 |
0.870631 |
0.972942 |
0.966754 |
0.981394 |
0.991819 |
0.995405 |
0.983399 |
0.968492 |
0.978113 |
0.842621 |
0.979932 |
0.971198 |
0.978847 |
0.992075 |
0.001 |
0.997171 |
0.989126 |
0.986889 |
0.988131 |
0.996925 |
0.986827 |
0.982869 |
0.986389 |
0.997497 |
0.99652 |
0.993726 |
0.983467 |
0.988832 |
0.996467 |
0.986631 |
0.985505 |
0.984465 |
0.997789 |
9.00E-04 |
0.997435 |
0.988384 |
0.986796 |
0.989611 |
0.993736 |
0.986719 |
0.983176 |
0.986761 |
0.997281 |
0.996251 |
0.993807 |
0.981673 |
0.988485 |
0.992327 |
0.987274 |
0.985161 |
0.985008 |
0.997673 |
8.00E-04 |
0.997181 |
0.988128 |
0.987116 |
0.988894 |
0.992251 |
0.988704 |
0.983284 |
0.987394 |
0.997191 |
0.996249 |
0.99404 |
0.980621 |
0.988761 |
0.99796 |
0.989877 |
0.985339 |
0.985181 |
0.997553 |
7.00E-04 |
0.997033 |
0.988236 |
0.987869 |
0.988719 |
0.997296 |
0.989611 |
0.984095 |
0.987761 |
0.99707 |
0.995799 |
0.994015 |
0.979884 |
0.989048 |
0.990274 |
0.989188 |
0.984759 |
0.985691 |
0.99746 |
6.00E-04 |
0.997163 |
0.988751 |
0.988236 |
0.988558 |
0.996807 |
0.989819 |
0.986367 |
0.987706 |
0.997405 |
0.99609 |
0.993322 |
0.98002 |
0.988492 |
0.998327 |
0.988932 |
0.984764 |
0.986126 |
0.997819 |
5.00E-04 |
0.997791 |
0.989709 |
0.988281 |
0.990276 |
0.996497 |
0.989269 |
0.987422 |
0.98894 |
0.998025 |
0.99652 |
0.992794 |
0.981842 |
0.987668 |
0.992736 |
0.989113 |
0.984842 |
0.987455 |
0.997284 |
4.00E-04 |
0.998377 |
0.990601 |
0.988281 |
0.988842 |
0.996508 |
0.991201 |
0.987761 |
0.990377 |
0.998658 |
0.997716 |
0.992972 |
0.985256 |
0.990206 |
0.997472 |
0.990812 |
0.985236 |
0.989492 |
0.99708 |
3.00E-04 |
0.998573 |
0.990751 |
0.98997 |
0.990882 |
0.997776 |
0.992794 |
0.9875 |
0.991495 |
0.998606 |
0.997774 |
0.99354 |
0.988741 |
0.991286 |
0.999196 |
0.990761 |
0.986339 |
0.990774 |
0.997181 |
2.00E-04 |
0.998193 |
0.991442 |
0.992015 |
0.99095 |
0.993651 |
0.993317 |
0.988638 |
0.99045 |
0.998774 |
0.997364 |
0.994337 |
0.987686 |
0.992683 |
0.998475 |
0.990937 |
0.986784 |
0.992053 |
0.997307 |
1.00E-04 |
0.997568 |
0.994915 |
0.992425 |
0.991389 |
0.999116 |
0.994286 |
0.99053 |
0.990852 |
0.997962 |
0.998314 |
0.996495 |
0.986188 |
0.992769 |
0.999633 |
0.992962 |
0.989226 |
0.989575 |
0.998902 |
将pave画成图,观察到pave曲线有很强的周期性,有4个峰,4个谷,当θ=0,90,180,270时出现峰值,当θ=45,135,225,315时出现谷。也就是在一个象限内分辨准确率总是在峰-谷-峰之间震荡。
综合实验数据表明神经网络的分类特征不是旋转不变的,分类对象相对角度的改变对迭代次数和分类准确率都有非常明显的影响。