深度学习进阶之第5章 手写数字识别
人脑识别图像:
【deeplearning是由New network演变而来的】
人脑: 大脑视觉皮层V1, 包含140,000,000神经元; 数百亿个连接, 还有V2,V3,V4,V5
人脑进化几千年
【计算机识别图像： 读到的数据都是数字矩阵】
天气冷吗?
跟我常配合的好友去吗?
是不是晚饭前?
实际模型更加复杂:

w,x 是向量, b=-threshold
b:多容易输出1,或者大脑多容易触发这个神经元
相当于与非门 (NAND gate):
输入11, (−2)∗1+(−2)∗1+3=−1, 输出0
与非门可以模拟任何方程!
Sigmoid 神经元:
8->9
为了模拟更细微的变化,输入和输出数值从0和1,到0,1之间的任何数【0.001，0.09......从01两维变为无数个数，并且变化过程是渐变的】
使用sigmoid function方程的好处：当Z值变化较小的时候，y值变化也比较小，变化过程比较平缓；当z值无限大的时候，y值无限趋近于1.
作为神经网络中的**函数，其作用就是引入非线性。具体的非线性形式，则有多种选择。
sigmoid的优点在于输出范围有限，所以数据在传递的过程中不容易发散。当然也有相应的缺点，就是饱和的时候梯度太小。
sigmoid还有一个优点是输出范围为(0, 1)，所以可以用作输出层，输出表示概率。
另一个优点：求导容易。