深度学习简介(三)
分布式表示的优势
学习一组不互斥的参数特征比具有最近邻类或簇状的模型的效率高。如下图所示:
可无需看见其它大量的特征配置而发现每一个特征。
深度学习:自动化特征发现
Why does it work? No Free Lunch
1.只有我们在对数据生成分布做一些假设时,它才有效。
2.糟糕的分布仍需要大量数据。
3.我们可以探索世界的一些结构来获得指数增长。
4.具有分段线性**的深度网络的表达函数:深度的指数优势(Montufar等,NIPS 2014)
5.具有深度L和每层具有ni单元的网络的区分件数至少是
或者,如果隐藏层的宽度为n,输入的大小为n0