JST :Joint sentiment topic model

匿名 (未验证) 提交于 2019-12-02 22:56:40

Joint semantic /topic model


之前的工作缺点:基于机器学习的情感分类需要大量的人工标记; 一个领域训练的情感分类模型不能很好地应用于另一个领域; 主题/特征检测和情感分类经常分开来进行,忽略了它们的相互依赖性。

JST 同时建模话题和情感

情感分析可以分为三类:积极,消极和neutral。更细粒度的可以分析单个用户对特定item和话题的观点等。

在传统的LDA中,模型分为三个层次,分别是 document-topic,topic-word;而JST在document-topic之间添加了sentiment层次,成为了四层模型,话题从情感生成,单词有sentiment-label和topic共同生成。如图:


和AUSM类似,这时候话题参数从T维变成了S*T维(还要V),首先是判断情感极性,然后选出极性对应的话题分类,然后得到话题分布,最后生成单词。所以作者说,他们和LDA的区别在于,每个文档的单个话题分布,变为了S个话题分布(对应情感,其实就是3个吧)。变种Tying-JST模型,只有一个话题分布,对应所有的文档。相比较而已,三者的粒度从单词过渡到文档。

Incorporating Model Priors:

在期刊(TKDE)的扩展版本,作者提到了结合先验的方法,即在φ添加S*V的先验矩阵,表示了单词的情感属性,修改dir先验的转换矩阵。然后使用乘法(β)实现映射(保留相应的极性,同时其他极性的先验置为0)

  • 完全非监督,更加灵活,更容易适用于其他领域。
  • 通过考虑相互联系同时检测情感/主题。

LDA & JST

  • LDA
  • 两个矩阵:分布(文档-主题):;分布(主题-词):。
  • JST
  • 3个矩阵:分布(文档-情感):;分布(文档-情感-主题):;分布(文档-情感-词):。

JST的过程

  • 对每个文档d,选择一个分布。
  • 对于文档d下的每个情感标签l,选择一个分布。
  • 对于文档d中的每个词:选择一个情感标签;选择一个主题;从由主题和情感标签定义的词分布中选择一个词。


JST的分类性能与机器学习最好的性能接近,但是节省了很多标记工作。

参考文章:Aspect semantic unification model

    • 对每个方面z,绘制一个词分布。
    • 对每条评论d:绘制评论的方面分布;对每个句子:选择一个方面,产生词
    • 对每一个情感s和方面z对,绘制一个词分布。
    • 对每一个文档d:绘制文档情感分布;对于每一个情感s,绘制方面分布;对于每一个句子:选择一个情感,给定情感j,选择一个方面,产生词。

ASUM通过使用非对称的利用先验情感信息。如,期望“good, great”不可能在消极表达中出现,类似地,“bad, annoying”不可能在在积极表达中出现。这可以编码到里,里的元素对应通常的积极情感词,在消极情感方面值小以及通常的消极情感词,在积极情感方面值小。隐变量通过Gibbs采样推理。在马尔科夫链的每个转换步中,第i个句子的情感和方面根据条件概率选择。

--------------------- 本文来自 安小北north 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/northhan/article/details/50881122?utm_source=copy

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!