李宏毅DNN学习笔记-What is the model?


我们要找的函数是什么?拿手写数字的分类问题来说,我们要找的是将输入图片转成vector中的值(每个像素对应于向量中的一个元素,每个元素中1表示数字覆盖了的位置,0表示没覆盖的位置)输入到一个网络,之后输出一个含有10个元素的vector,每个element表征输入图片是某个数值的概率值(0或1)。
李宏毅DNN学习笔记-What is the model?

单个网络
李宏毅DNN学习笔记-What is the model? 

单神经元只能做二分类,不能处理多类分类
李宏毅DNN学习笔记-What is the model? 

一层神经网络
李宏毅DNN学习笔记-What is the model?

 一层神经网络是有缺陷的,它表达能力有限,如下图,你可以调整W和b的值,但是它不能表示X1,X2同时为0和1时a<threshoid。
李宏毅DNN学习笔记-What is the model?

模型是什么?
李宏毅DNN学习笔记-What is the model? 

符号
李宏毅DNN学习笔记-What is the model? 

李宏毅DNN学习笔记-What is the model? 

李宏毅DNN学习笔记-What is the model? 

李宏毅DNN学习笔记-What is the model? 

李宏毅DNN学习笔记-What is the model? 

层输出之间的关系
李宏毅DNN学习笔记-What is the model? 

李宏毅DNN学习笔记-What is the model? 

 李宏毅DNN学习笔记-What is the model?

 

李宏毅DNN学习笔记-What is the model?

李宏毅DNN学习笔记-What is the model?

李宏毅DNN学习笔记-What is the model?

实际输入时,比如是一张图片,则为一维的vector数据分别输入到f(x)的每个neuron。
如果是多张图片输入就是多维的vector张量输入到每个神经元中。