深度学习(十三)——loss及其梯度
MSE：均方差
需要求偏导的参数，要特别写出来
因为是动态图，所以要再次求mse
两种求梯度的写法
softmax
由来
输出的值想要最大的，认为转化为概率0-1
如果用sigmoid，概率相加可能不等于1
softmax：把值大的变的更大，值小的压缩到密集的空间，差距拉大，所以叫soft version of max，最大的极度舒适版本呀==！
i=j时
i!=j
总结：
只有i=j时，偏导为正
MSE：均方差
需要求偏导的参数，要特别写出来
因为是动态图，所以要再次求mse
两种求梯度的写法
softmax
由来
输出的值想要最大的，认为转化为概率0-1
如果用sigmoid，概率相加可能不等于1
softmax：把值大的变的更大，值小的压缩到密集的空间，差距拉大，所以叫soft version of max，最大的极度舒适版本呀==！
i=j时
i!=j
总结：
只有i=j时，偏导为正