Hinton Neural Networks课程笔记3c:学习逻辑斯蒂回归
这节可以看做反向传播(BP)算法在逻辑斯蒂回归(logistic regression)中的应用。
为了进一步拓展BP算法的应用,从线性神经元拓展到了非线性神经元。这里选取了最简单的非线性神经元:逻辑斯蒂输出神经元(logistic output neuron)。损失函数同样选用简单的误差平方和。
逻辑斯蒂神经元(logistic neuron)
如上图所示,该神经元只是在线性神经元的输出后面加上一个逻辑斯蒂函数。(这个函数可以有来源与意义的,这里只是因为其简单、实数域输出、平滑、有界、易于求导)
求导
根据链式法则
先求
再求
最后汇总: