深度学习-机器学习(神经网络 1)

1.多层向前神经网络由以下部分组成:

      输入层(input layer ),隐藏层(hidden layers ), 输入层(output layers)

深度学习-机器学习(神经网络 1)

  (1)输入层:数据集传入到里面开始计算,训练集的实例向量来传入的。

(2)经过连接结点的权重(weight)传入下一层,一层的输出是下一层的输入

(3)隐藏层的个数可以是任意的,输入层有一层,输出层有一层

(4)一层中加权的求和,然后根据非线性方程转化输出

2.Backpropagation算法:

通过迭代性的来处理训练集中的实例
      对比经过神经网络后输入层预测值(predicted value)与真实值(target value)之间
      反方向(从输出层=>隐藏层=>输入层)来以最小化误差(error)来更新每个连接的权重(weight)
      算法详细介绍
           输入:D:数据集,l 学习率(learning rate), 一个多层前向神经网络
           输入:一个训练好的神经网络(a trained neural network)

          初始化权重(weights)和偏向(bias): 随机初始化在-1到1之间,或者-0.5到0.5之间,每个单元有          
                    一个偏向
深度学习-机器学习(神经网络 1)
深度学习-机器学习(神经网络 1)
1.[(输入层的第一个神经元*对应权重)+(输入层的第二个神经元*对应权重)+。。。]  
2.对于输出层:
    误差: 输出层的值×(1-输出层的值)×(真正的值-输出层的值 )
3.对于隐藏层:

     误差:(当前层算出来的值)×(1-当前层算出来的值)×(上一层的值×当前层和上一层的权重)

4.权重的更新:

    原来的权重 +  (学习率×后面层的误差)× 前面层的值

     *****注意输出层和隐藏层的区别********

5.偏向的更新:  

   原来的偏向+(学习率×当前点的误差)