Hierarchical Softmax(分层Softmax):
使用分级softmax分类器(相当于一个树型分类器,每个节点都是可能是一个二分类器),其计算复杂度是前面的log级别。在构造分级softmax分类器时,仿造哈夫曼树,一般常用的词会放在树的顶部位置,而不常用的词则会放在树的更深处,其并不是一个平衡的二叉树。
按照这种规律,常用的靠近树根,因此走的路少,总体上会降低复杂度,而不常用的靠近叶子,走的路多,总体上会降低复杂度。
来源:CSDN
作者:Wanderist_ZK
链接:https://blog.csdn.net/m0_37922734/article/details/100768818