一、softmax的定义
现有一组值x1、x2、x3
x1变换为
，x2、x3依次类推
变换后的新值值域是[0,1]，所有新值的和等于1，跟概率特征很像，所以有了以下应用。
二、在多分类中应用
某个网络要做多分类，假设分3类，输出节点就有3个，输出值经过了softmax变换，所以输出值值域为[0,1]，所有输出值的和等于1。
用xi表示第i个样本，h1(xi)表示样本xi为输入时，第一个输出值的值，h2(xi)、h3(xi)以此类推。
h1、h2、h3就可以用来表示此样本属于第1、2、3类的概率。
下面构建损失函数：
若此样本属于第1类，则此样本的概率加权和=h1(xi)*1+h2(xi)*0+h3(xi)*0=h1(xi)
现在问题变为求loss的最小值
文章来源: softmax及在多分类中的应用