多层感知器模型(MLP)

转自：http://blog.csdn.net/zhaohuizhu135/article/details/52654481

需要训练的模型参数(parameters)

num_hidden:隐藏层节点数目 
activation func:隐藏层/输出层节点的激发函数 
weights/biases:连接权重/偏置 
 
* 构造成本函数 
训练模型的目的就是降低C值的大小。由于每一层激发函数的输出a_j是权重(weight)和偏置(bias)的函数，因此C也是权重和偏置的函数。训练模型的过程就可以转化成寻找权重和偏置的最优组合，使得C的值降到最低。通常使用随机梯度下降算法(SGD)来寻找该最优组合。 
前向传播(forward propagation)：将训练数据train_X输入到模型，并在输出层得到相应的输出output，此过程成为前向传播。 
后向传播(backward propagation)：通过输出结果output和真实的结果y_true计算出成本函数值C，进而计算出C对每一层权重和偏置的偏导和数值，并利用它们调整对应的权重和偏置使得调整后的权重/偏置组合更加接近最优。调整的方式为：