机器学习算法笔记

机器学习三个步骤

Step1：Model
Step2：Goodness of Function
Step3：Gradient De’scent

线性模型（linear model）

y = b +w1*x1+w1*x2…

神经网络

Total Loss等于Cross Entrpy之和
使用Gradient Descent
使用backprapogation算偏微分
使用dropout

优化技巧：

当神经网络很深时，训练结果不一定更好，因为有梯度消失
Maxout 神经网络，激励函数是可变的

优化器optimizer加速神经网络训练

• Stochastic Gradient Descent（SGD)
  分批将data放入NN
  
• Momentun
  斜率累加
  
• AdaGrad
  鞋子，错误方向存在阻力
  
• RMSProp
  结合Momentun和AdaGrad的方法
  
• Adam
  优化了RMSProp
  

过拟合问题优化

• 增加数据量

• L1L2..regularization
  

• dropout（用于神经网络）
  随即忽略部分神经元，防止过度依赖于某些固定的神经元

CNN(卷积神经网络)

• stride
  表示filter移动的像素距离
  strides = [1,x_move,y_move,1]
  padding = ‘SAME’——–表示fliter与原图大小相等，取到图外部分以0填充
  padding = ‘VALID’——–flier比原图小，挨着原图取

• Convolution过程

使用tf.nn.conv2d()函数

• Max Pooling过程
  
  使用tf.nn.max_pool()函数
  
• Flatten