sigmoid与softmax 二分类、多分类的使用

ぃ、小莉子 提交于 2019-11-27 22:03:26

二分类下,sigmoid、softmax两者的数学公式是等价的,理论上应该是一样的,但实际使用的时候还是sigmoid好

https://www.zhihu.com/question/295247085

为什么好?其实现在我得到一个确切的答案!

 

多个sigmoid与一个softmax都可以进行多分类

如果多个类别之间是互斥的,就应该使用softmax,即这个东西只可能是几个类别中的一种。

如果多个类别之间不是互斥的,使用多个sigmoid。比如4个类别人声音乐、舞曲、影视原声、流行歌曲,一首歌曲可以来自影视原声,同时也包含人声。

https://max.book118.com/html/2017/0428/102950525.shtm

为什么softmax使用在类别互斥,多个sigmoid使用在不是互斥?

因为softmax中,所有类别之和是1,如果你一个类别高了,另一个类别的概率肯定下降。但多个sigmoid,可以同时输出多个0.9的概率,多个sigmoid之间不影响。比如一首歌曲,第一个类别是判断是否是影视歌曲,可以是0.9,判断的人声的类别也可以是0.9。但如果是softmax,影视歌曲类别是0.9了,人声就最多只能是0.1了。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!