数学：反向传播算法(BP 算法)

前向传播：
此时，X1, X2, Wac, Wad, Wbc, Wbd, d1, d2, Wce, Wde, d3都是已知量。
Ic = Wac * X1 + Wbc * X2 + d1
Id = Wad * X1 + Wbd * X2 + d2
Oc = sigmoid(Ic)
Od = sigmoid(Id)
Ie = Wce * Oc + Wde * Od + d3
y1 = sigmoid(le)

均方误差：
J = 1/2 * (y1 - y)^2

sigmoid导数：
Sigmoid(x)’ = Sigmoid(x) * (1-sigmoid(x))

反向传播：
此时，y, y1, le, Od, Oc, Id, Ic也都是已知量。
D{J} / D{y1} = y1 - y
D{J} / D{le} = D{J} / D{y1} * D{y1} / D{le} = (y1 - y)y1(1 - y1)
D{J} / D{Wce} = D{J} / D{le} * D{le} / D{Wce} = (y1 - y)y1(1 - y1)Oc
D{J} / D{Oc} = D{J} / D{le} * D{le} / D{Wde} = (y1 - y)y1(1 - y1)Wce
D{J} / D{lc} = D{J} / D{Oc} * D{Oc} / D{lc} = (y1 - y)y1(1 - y1)WceOc(1-Oc)
D{J} / D{Wac} = D{J} / D{lc} * D{lc} / D{Wac} = (y1 - y)y1(1 - y1)WceOc(1-Oc)*X1

更新权重：
delta{Wce} = - k * D{J} / D{Wce} // 学习率
new{Wce} = Wce + delta{Wce} // 权重更新
其它略