Hierarchical Softmax(分层Softmax)

余生长醉 提交于 2019-12-09 19:34:54

Hierarchical Softmax(分层Softmax):

       使用分级softmax分类器(相当于一个树型分类器,每个节点都是可能是一个二分类器),其计算复杂度是前面的log⁡级别。在构造分级softmax分类器时,仿造哈夫曼树,一般常用的词会放在树的顶部位置,而不常用的词则会放在树的更深处,其并不是一个平衡的二叉树。

      按照这种规律,常用的靠近树根,因此走的路少,总体上会降低复杂度,而不常用的靠近叶子,走的路多,总体上会降低复杂度。

        

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!