深度神经网络基本问题的原理详细分析和推导

向AI转型的程序员都关注了这个号????????????

大数据挖掘DT机器学习  公众号： datayx

目录

• 神经网络算法的直观了解

  • 21 表征假设和**函数

  • 1 神经网络过程描述

  • 2 神经网络相关的几个问题

  • 22 结构设计Architecture Design

  • 23 代价函数Cost Function和优化目标Optimization objective

  • 24 如何进行优化

  • 3 参考资料

• 前馈传播和结构设计

  • 11 本章节说明

  • 12 通用逼近定理的严谨表述

  • 12 从非线性讲起为什么使用**函数

  • 13 前馈网络拟合函数过程

  • 2 前馈网络进行逼近的拟合过程

  • 121 来自Approximation by Superpositions of a Sigmoidal Function这篇论文的观点

  • 121 来自On the Number of Linear Regions of Deep Neural Networks这篇论文的观点

  • 11 以sigmoid为例

  • 11 ReLU的拟合

  • 1 通用逼近性质理论Universal Approximation PropertiesTheorem神经网络可以逼近任意函数

  • 3 关于通用逼近定理的补充说明

  • 4 参考资料

• 目标优化

  • 11 从单变量函数开始

  • 12 多元函数的梯度下降

  • 2 学习率learning rate的选择

  • 1 基于梯度的目标优化

  • 3 其他优化算法

  • 4 参考资料

• 基于梯度的神经网络优化

  • 31 BP算法的定义理解误区

  • 32 预备知识

  • 33 深度神经网络中递归使用链式法则

  • 34 反向传播算法的伪代码

  • 35 补充基于计算图的更通用的反向传播伪代码

  • 361 反向传播过程

  • 321 张量tensor

  • 322 微积分中的链式法则和其在高维度的推广

  • 341 基于全连接的多层感知机的伪代码

  • 351 上一节的代码的改进空间

  • 351 计算图Computational Graphs

  • 352 举例说明

  • 21 广义线性模型generalized linear model GLM

  • 22 广义线性模型

  • 23 伯努利分布Bernoulli Distributions和Sigmoid 函数单元

  • 24 其他输出层的**函数单元

  • 241 多项分布和广义线性模型

  • 242 其他分布和对应单元

  • 25 本节其他参考资料

  • 211 指数族Exponential family or Exponential class

  • 221 广义线性模型的直观解释从线性模型讲起

  • 222 数学定义

  • 231 伯努利分布和广义线性模型

  • 232 sigmoid为**函数的交叉熵代价函数的推导后续

  • 233 梯度下降法的进一步推导交叉熵解决函数饱和saturates问题

  • 11 极大似然法和交叉熵Maximum Likelihood Estimation

  • 12 交叉熵cross-entropy error代价函数

  • 122 交叉熵代价函数

  • 123 交叉熵代价函数的好处

  • 13 本节其他参考资料

  • 111概率统计知识总体样本随机变量独立同分布参数估计

  • 112 极大思然估计

  • 121 交叉熵相对熵KL散度的概念

  • 1 目标函数的表达式模型的确定

  • 2 选择概率分布模型和对应的输出单元

  • 3 多层网络的梯度如何获得

  • 4 参考资料

• 前馈传播过程隐藏层**函数

  • 31 logistic Sigmoid

  • 32 双曲切线函数tanh

  • 21 ReLu

  • 22 ReLU的扩展

  • 23 ReLU的设计原则

  • 1 **函数期待具有的性质

  • 11 非线性

  • 12 只有有限个离散点不可微non-differentiability

  • 13 有限范围

  • 14 接近恒等函数

  • 2 线性整流单元Rectified Linear Units和其衍生单元

  • 3 Logistic Sigmoid 和 Hyperbolic Tangent

  • 4 参考资料

由于篇幅问题，后半部分详细信息查看原文 

https://blog.****.net/zpcxh95/article/details/69952020

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加： datayx  

长按图片，识别二维码，点关注