神经网络迭代次数的数学构成
每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n，因此可以用迭代次数曲线n(δ)来评价网络性能。
在《神经网络的迭代次数是一个线性的变量吗？》中得到表达式
一个二分类网络分类两个对象A和B，B中有K张图片，B的第i张图片被取样的概率为pi,B中第i张图片相对A的迭代次数为ni最终的迭代次数nt等于pi*ni的累加和。
由此可以构造两个矩阵一个是随机矩阵PJ
PJ表明图片集B中第i张图片被抽样到的概率
和矩阵NJ
NJ表明图片集B中第i张图片相对A的迭代次数
总的迭代次数nt等于矩阵PJ和NJ的点积
为了验证这个关系构造了等式
制作一个二分类网络区分数据集mnist0和数据集B，其中B中只有两张图片两张图片被抽样到的概率比是7：3.
本文验算这个表达式是否正确
实验过程
制作一个带一个3*3卷积核的神经网络，测试集是mnist的0和一张图片x，将28*28的图片缩小成9*9，隐藏层30个节点所以网络的结构是
这个网络分成两个部分左边的是让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但是让左右两边的权重实现同步更新，实现权重共享。前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。
将上图简写成
S（mnist0）81-（con3*3）49-30-2-（1,0）
S（x）81-（con3*3）49-30-2-（0,1）
w=w，w1=w1,w2=w2
进一步简写成
d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
这个网络的收敛标准是
if (Math.abs(f2[0]-y[0])< δ && Math.abs(f2[1]-y[1])< δ )
本文尝试了δ从0.5到1e-6在内的26个值，训练集是mnist0
图片x就是一张二维数组，让x=1.
|
具体进样顺序 |
||||
|
进样顺序 |
迭代次数 |
|||
|
δ=0.5 |
||||
|
mnist 0-1 |
1 |
判断是否达到收敛 |
||
|
X |
2 |
判断是否达到收敛 |
||
|
梯度下降 |
||||
|
mnist 0-2 |
3 |
判断是否达到收敛 |
||
|
X |
4 |
判断是否达到收敛 |
||
|
梯度下降 |
||||
|
…… |
||||
|
mnist 0-4999 |
9997 |
判断是否达到收敛 |
||
|
X |
9998 |
判断是否达到收敛 |
||
|
梯度下降 |
||||
|
…… |
||||
|
如果4999图片内没有达到收敛标准再次从头循环 |
||||
|
mnist 0-1 |
9999 |
判断是否达到收敛 |
||
|
X |
10000 |
判断是否达到收敛 |
||
|
…… |
||||
|
达到收敛标准记录迭代次数，将这个过程重复199次 |
||||
|
δ=0.4 |
||||
|
…… |
||||
用这个方法可以得到网络
d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
的迭代次数曲线n1。
用同样的办法制作另一个网络
d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.1.得到迭代次数曲线n0.1
实验数据
在《测量一组对角矩阵的频率和质量》中已经将这两个迭代次数都测出来了
|
1 |
0.1 |
|
|
δ |
迭代次数n1 |
迭代次数n0.1 |
|
0.5 |
17.40201005 |
17.87437186 |
|
0.4 |
951.2110553 |
1408.577889 |
|
0.3 |
1144.577889 |
1720.517588 |
|
0.2 |
1313.633166 |
1995.110553 |
|
0.1 |
1505.824121 |
2243.834171 |
|
0.01 |
2362.115578 |
3001.552764 |
|
0.001 |
4129.020101 |
4007.532663 |
|
1.00E-04 |
10353.37186 |
5532.668342 |
|
9.00E-05 |
10653.93467 |
5683.753769 |
|
8.00E-05 |
11292.43719 |
6131.934673 |
|
7.00E-05 |
11761.11055 |
6106.919598 |
|
6.00E-05 |
12657.69347 |
6014.688442 |
|
5.00E-05 |
13305.44221 |
6455.321608 |
|
4.00E-05 |
15844.29648 |
6724.738693 |
|
3.00E-05 |
17291.77387 |
7055.80402 |
|
2.00E-05 |
20753.56281 |
7763.41206 |
|
1.00E-05 |
27708.19598 |
8749.050251 |
|
9.00E-06 |
29358.8593 |
8879.41206 |
|
8.00E-06 |
30689.87437 |
9387.150754 |
|
7.00E-06 |
33437.22111 |
9532.648241 |
|
6.00E-06 |
36960.63819 |
9957.683417 |
|
5.00E-06 |
40669.92462 |
10661.56281 |
|
4.00E-06 |
44594.04523 |
11025.0402 |
|
3.00E-06 |
51522.10553 |
11653.63317 |
|
2.00E-06 |
67583.53266 |
13076.9196 |
|
1.00E-06 |
107224.5276 |
15184.58794 |
现在做第3个网络
d2（mnist0 ; 70% x=1, 30%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x在1和0.1之间随机。
让1与0.1的比例是7：3.
|
具体进样顺序 |
|
|||
|
进样顺序 |
迭代次数 |
|
||
|
δ=0.5 |
|
|||
|
mnist 0-1 |
1 |
判断是否达到收敛 |
||
|
70% x=1，30% x=0.1 |
2 |
判断是否达到收敛 |
||
|
梯度下降 |
|
|||
|
mnist 0-2 |
3 |
判断是否达到收敛 |
||
|
70% x=1，30% x=0.1 |
4 |
判断是否达到收敛 |
||
|
梯度下降 |
|
|||
|
…… |
|
|||
|
mnist 0-4999 |
9997 |
判断是否达到收敛 |
||
|
70% x=1，30% x=0.1 |
9998 |
判断是否达到收敛 |
||
|
梯度下降 |
|
|||
|
…… |
|
|||
|
如果4999图片内没有达到收敛标准再次从头循环 |
|
|||
|
mnist 0-1 |
9999 |
判断是否达到收敛 |
||
|
70% x=1，30% x=0.1 |
10000 |
判断是否达到收敛 |
||
|
…… |
|
|||
|
达到收敛标准记录迭代次数，将这个过程重复199次,取平均 |
|
|||
|
δ=0.4 |
|
|||
|
…… |
|
|||
相当于分类两个图片集，一个图片集是mnist的0另一个图片集只有两张图片，两张图片被取样的概率是7：3
得到的数据
|
用0和x二分类 |
||||||||
|
1：0.1=7：3 |
||||||||
|
f2[0] |
f2[1] |
迭代次数n |
平均准确率p-ave |
δ |
耗时ms/次 |
耗时ms/199次 |
耗时min/199次 |
最大准确率p-max |
|
0.502766167 |
0.498438788 |
16.89447236 |
0.500913551 |
0.5 |
713.4773869 |
141997 |
2.366616667 |
0.926713948 |
|
0.608346966 |
0.391795164 |
1069.512563 |
0.477824109 |
0.4 |
889.9497487 |
177116 |
2.951933333 |
0.946099291 |
|
0.713220097 |
0.286685412 |
1283.241206 |
0.550461527 |
0.3 |
918.8994975 |
182877 |
3.04795 |
0.994799054 |
|
0.81561914 |
0.184037021 |
1421.693467 |
0.592434988 |
0.2 |
946.2060302 |
188295 |
3.13825 |
0.996690307 |
|
0.912185353 |
0.087938344 |
1701.321608 |
0.638827708 |
0.1 |
991.1859296 |
197262 |
3.2877 |
0.996690307 |
|
0.991788205 |
0.008210193 |
2598.407035 |
0.605723654 |
0.01 |
676.4773869 |
134619 |
2.24365 |
0.996690307 |
|
0.999231196 |
7.69E-04 |
4168.899497 |
0.55280421 |
0.001 |
1414.160804 |
281418 |
4.6903 |
0.996690307 |
|
0.999924902 |
7.51E-05 |
8854.396985 |
0.515128836 |
1.00E-04 |
2244.592965 |
446674 |
7.444566667 |
0.998108747 |
|
0.999928081 |
7.19E-05 |
9283.763819 |
0.530389536 |
9.00E-05 |
2297.58794 |
457220 |
7.620333333 |
0.994326241 |
|
0.999935669 |
6.43E-05 |
9880.266332 |
0.520472338 |
8.00E-05 |
2392.567839 |
476122 |
7.935366667 |
0.986761229 |
|
0.999944152 |
5.58E-05 |
10601.24121 |
0.532264158 |
7.00E-05 |
2505.40201 |
498591 |
8.30985 |
0.997163121 |
|
0.999952671 |
4.73E-05 |
10848.90955 |
0.53355192 |
6.00E-05 |
2547.145729 |
506914 |
8.448566667 |
0.997635934 |
|
0.99995988 |
4.01E-05 |
11631.47236 |
0.535542963 |
5.00E-05 |
2689.668342 |
535245 |
8.92075 |
0.993380615 |
|
0.999968882 |
3.11E-05 |
12720.22613 |
0.55244069 |
4.00E-05 |
2134.442211 |
424754 |
7.079233333 |
0.998108747 |
|
0.999976519 |
2.35E-05 |
13737.0201 |
0.544514535 |
3.00E-05 |
3031.844221 |
603338 |
10.05563333 |
0.991962175 |
|
0.999984538 |
1.55E-05 |
17248.18593 |
0.52698243 |
2.00E-05 |
3657.703518 |
727887 |
12.13145 |
0.994799054 |
|
0.999992179 |
7.83E-06 |
22052.75879 |
0.528897442 |
1.00E-05 |
4364.21608 |
868495 |
14.47491667 |
0.995271868 |
|
0.99999317 |
6.83E-06 |
24384.80905 |
0.511448495 |
9.00E-06 |
4749.442211 |
945139 |
15.75231667 |
0.996690307 |
|
0.999993717 |
6.28E-06 |
26705.69347 |
0.521218385 |
8.00E-06 |
4640.160804 |
923393 |
15.38988333 |
0.998108747 |
|
0.999994442 |
5.55E-06 |
27993.34171 |
0.527341198 |
7.00E-06 |
5443.035176 |
1083165 |
18.05275 |
0.995271868 |
|
0.999995217 |
4.78E-06 |
28507.85427 |
0.513510816 |
6.00E-06 |
5401.894472 |
1074977 |
17.91628333 |
0.99858156 |
|
0.99999597 |
4.03E-06 |
32254.60804 |
0.531187854 |
5.00E-06 |
5895.522613 |
1173209 |
19.55348333 |
0.991016548 |
|
0.999996785 |
3.22E-06 |
33503.83417 |
0.52082873 |
4.00E-06 |
6474.693467 |
1288464 |
21.4744 |
0.997635934 |
|
0.99999755 |
2.45E-06 |
40578.65829 |
0.532316428 |
3.00E-06 |
7652.869347 |
1522922 |
25.38203333 |
0.997163121 |
|
0.999998323 |
1.68E-06 |
52578.50754 |
0.510424463 |
2.00E-06 |
9643.909548 |
1919170 |
31.98616667 |
0.988652482 |
|
0.99999916 |
8.40E-07 |
74879.58291 |
0.515432957 |
1.00E-06 |
14311.54271 |
2847998 |
47.46663333 |
0.992907801 |
所以现在有了3个迭代次数分别是
|
x=1 |
n1 |
|
x=0.1 |
n0.1 |
|
0.7x=1||0.3x=0.1 |
n1-0.1 |
验算n1-0.1与n1和n0.1之间的关系
|
7:3 |
1 |
0.1 |
理论值 |
实测值 |
||
|
δ |
|
迭代次数n1 |
迭代次数n0.1 |
0.7*n1+0.3*n0.1 |
|
理论值/实测值 |
|
0.5 |
16.89447236 |
17.40201005 |
17.87437186 |
17.54371859 |
16.89447236 |
1.038429506 |
|
0.4 |
1069.512563 |
951.2110553 |
1408.577889 |
1088.421106 |
1069.512563 |
1.017679589 |
|
0.3 |
1283.241206 |
1144.577889 |
1720.517588 |
1317.359799 |
1283.241206 |
1.026587825 |
|
0.2 |
1421.693467 |
1313.633166 |
1995.110553 |
1518.076382 |
1421.693467 |
1.067794441 |
|
0.1 |
1701.321608 |
1505.824121 |
2243.834171 |
1727.227136 |
1701.321608 |
1.015226708 |
|
0.01 |
2598.407035 |
2362.115578 |
3001.552764 |
2553.946734 |
2598.407035 |
0.982889401 |
|
0.001 |
4168.899497 |
4129.020101 |
4007.532663 |
4092.573869 |
4168.899497 |
0.98169166 |
|
1.00E-04 |
8854.396985 |
10353.37186 |
5532.668342 |
8907.160804 |
8854.396985 |
1.005959053 |
|
9.00E-05 |
9283.763819 |
10653.93467 |
5683.753769 |
9162.880402 |
9283.763819 |
0.986979051 |
|
8.00E-05 |
9880.266332 |
11292.43719 |
6131.934673 |
9744.286432 |
9880.266332 |
0.986237223 |
|
7.00E-05 |
10601.24121 |
11761.11055 |
6106.919598 |
10064.85327 |
10601.24121 |
0.949403289 |
|
6.00E-05 |
10848.90955 |
12657.69347 |
6014.688442 |
10664.79196 |
10848.90955 |
0.983028931 |
|
5.00E-05 |
11631.47236 |
13305.44221 |
6455.321608 |
11250.40603 |
11631.47236 |
0.967238341 |
|
4.00E-05 |
12720.22613 |
15844.29648 |
6724.738693 |
13108.42915 |
12720.22613 |
1.030518562 |
|
3.00E-05 |
13737.0201 |
17291.77387 |
7055.80402 |
14220.98291 |
13737.0201 |
1.035230553 |
|
2.00E-05 |
17248.18593 |
20753.56281 |
7763.41206 |
16856.51759 |
17248.18593 |
0.977292201 |
|
1.00E-05 |
22052.75879 |
27708.19598 |
8749.050251 |
22020.45226 |
22052.75879 |
0.998535034 |
|
9.00E-06 |
24384.80905 |
29358.8593 |
8879.41206 |
23215.02513 |
24384.80905 |
0.95202817 |
|
8.00E-06 |
26705.69347 |
30689.87437 |
9387.150754 |
24299.05729 |
26705.69347 |
0.90988303 |
|
7.00E-06 |
27993.34171 |
33437.22111 |
9532.648241 |
26265.84925 |
27993.34171 |
0.938289166 |
|
6.00E-06 |
28507.85427 |
36960.63819 |
9957.683417 |
28859.75176 |
28507.85427 |
1.012343878 |
|
5.00E-06 |
32254.60804 |
40669.92462 |
10661.56281 |
31667.41608 |
32254.60804 |
0.981795099 |
|
4.00E-06 |
33503.83417 |
44594.04523 |
11025.0402 |
34523.34372 |
33503.83417 |
1.030429638 |
|
3.00E-06 |
40578.65829 |
51522.10553 |
11653.63317 |
39561.56382 |
40578.65829 |
0.974935237 |
|
2.00E-06 |
52578.50754 |
67583.53266 |
13076.9196 |
51231.54874 |
52578.50754 |
0.974381951 |
|
1.00E-06 |
74879.58291 |
107224.5276 |
15184.58794 |
79612.54573 |
74879.58291 |
1.063207655 |
从数值看
这个公式还是符合的很好的。
表明这个表达式是有价值的。
实验参数
|
学习率 0.1 |
|
权重初始化方式 |
|
Random rand1 =new Random(); |
|
int ti1=rand1.nextInt(98)+1; |
|
int xx=1; |
|
if(ti1%2==0) |
|
{ xx=-1;} |
|
tw[a][b]=xx*((double)ti1/x); |
|
第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200 |