学习梯度下降算法有感

1.梯度下降算法暴露出来的数学短板

      数学水平有待提高。

2.梯度下降解决了什么事情

      解决多层神经元的拟合问题。

3.非线性问题处理，隐藏层个数确定的问题

     神经元数量过多，是一种浪费，神经元数量过少不能拟合。

3.梯度算法的缺点(自认为)

     时间太长，计算次数太多

4.不用梯度算法怎么拟合

  神经元数量众多，每个神经元都可以随机生成权重，随机权重应该可以覆盖到当前特征到标记之间的映射。或者覆盖到特征到标记之间的近似映射。但是这要求所有的神经元与前驱都发生链接。感觉应该不是这样的。

5.关于算法编码的想法

 我们对神经元的抽象过于简单。要知道算法的实现应该是由神经元自己去实现。我们的算法倾向于串行，神经元的功能倾向于并行。目前的梯度下降算法采用数学方法去模拟神经元的拟合过程不符合真实情况。梯度下降法具有主观性：你看到了一个初始的神经元，然后你获取到神经元参数，再然后修改神经元权重。我认为应该是单个神经元，通过某种方式发现自身连接不对，然后通过算法改变自身参数。单个神经元自身的调节在收到拟合信号之后，停止调节。这个是思考问题的角度问题。

    当然思考问题的角度与解决问题的方法之间应该是不一样的。解决问题的方法依赖于目前能够使用的工具，如：显卡加速，计算机模拟。真正的神经网络我认为需要定制化的芯片支持。

6.relu**函数是过滤功能。过滤掉图片细节，减少特征。

7.卷积

8.图像缩放平移，注意力机制

                               -- 要有思考，要学习，不矛盾。毕竟之后站在前人的基础上才能看的更远。