$$S_i=\frac{e^{x_i}}{\sum_j e^{x_j}}$$
原理也很简单，将原向量变为分布的形式（和为1）。
看似很美好，但是有致命缺点，当 $x_i$ 的值比较大的情况下，由于 $e^x$ 呈指数增长，因可能会发生溢出。
解决方法：$x_i=x_i-x_{max}\;x_{max}=max(x)$。
2022-12-13站长百科下载本文softmax,减去,时要,最大值,计算
$$S_i=\frac{e^{x_i}}{\sum_j e^{x_j}}$$
原理也很简单，将原向量变为分布的形式（和为1）。
看似很美好，但是有致命缺点，当 $x_i$ 的值比较大的情况下，由于 $e^x$ 呈指数增长，因可能会发生溢出。
解决方法：$x_i=x_i-x_{max}\;x_{max}=max(x)$。
《为什么 softmax 计算时要先减去最大值.doc》
下载本文的Word格式文档，以方便收藏与打印。
