Softmax
在数学领域中，Softmax函数，或称归一化指数函数，对向量进行归一化，凸显其中最大的值并抑制远低于最大值的其他分量。
它能将一个含任意实数的K维向量 压缩”到另一个K维实向量
中，使得每一个元素的范围都在 [0,1]之间，并且所有元素的和为1
某个样本属于第J个分类的概率：
| Softmax | Sigmoid | |
| 公式 |
|
|
| 本质 | 离散概率分布 | 非线性映射 |
| 任务 | 多分类 | 二分类 |
| 定义域 | 某个一维向量 | 单个数值 |
| 值域 | [0,1] | （0,1） |
| 结果之和 | 一定为1 | 为某个正数 |
Sigmoid就是极端情况(类别数为2)下的Softmax
实际应用中，使用 Softmax 需要注意数值溢出的问题。因为有指数运算，如果 V 数值很大，经过指数运算后的数值往往可能有溢出的可能。所以，需要对 V 进行一些数值处理：即 V 中的每个元素减去 V 中的最大值
参考：
百度百科
https://blog.****.net/red_stone1/article/details/80687921