学习nlp应该对nlp的一些基础任务都有个follow,至少知道对于某些任务目前主流的做法是什么?
文章目录
句法分析分类
句法结构分析
句法结构分析(syntactic structure parsing),又称短语结构分析(phrase structure parsing),也叫成分句法分析(constituent syntactic parsing)。作用是识别出句子中的短语结构以及短语之间的层次句法关系。
依存句法分析
依存关系分析,又称依存句法分析(dependency syntactic parsing),简称依存分析,作用是识别句子中词汇与词汇之间的相互依存关系。
深层句法分析
深层文法句法分析,即利用深层文法,例如词汇化树邻接文法(Lexicalized Tree Adjoining Grammar, LTAG)、词汇功能文法(Lexical Functional Grammar, LFG)、组合范畴文法(Combinatory Categorial Grammar, CCG)等,对句子进行深层的句法以及语义分析。
依存分析的一些重要概念
依存句法认为“谓语”中的动词是一个句子的中心,其他成分与动词直接或间接地产生联系。
依存句法理论中,“依存”指词与词之间支配与被支配的关系,这种关系不是对等的,这种关系具有方向。确切的说,处于支配地位的成分称之为支配者(governor,regent,head),而处于被支配地位的成分称之为从属者(modifier,subordinate,dependency)。
依存语法本身没有规定要对依存关系进行分类,但为了丰富依存结构传达的句法信息,在实际应用中,一般会给依存树的边加上不同的标记。
依存语法存在一个共同的基本假设:句法结构本质上包含词和词之间的依存(修饰)关系。一个依存关系连接两个词,分别是核心词(head)和依存词(dependent)。依存关系可以细分为不同的类型,表示两个词之间的具体句法关系。
依存句法分析总结(cs224n)
课程内容
句法结构的两种观点
consistency的观点:
词构成短语,短语构成更大的短语。根据词性,可以构造出上下文无关的文法。
eg:
np (noun phrase) -> det (adj) n
np -> pp
上下文无关文法构造例子:
np (noun phrase) -> det N (the dog)
np -> det (adj) n (the large dog)
np -> det (adj) n PP (the large dog by the door)
pp(prep noun) -> prep np
句子的歧义问题
1、coordination scope ambiguity (协同范围歧义)
上面的 and连起来的词可能都是在修饰, fred gregory 或者说前一个and指的是另一个人。
然后整个句子连起来指的是shutte veteran 和fred gregory这两个人。
2、形容词修饰歧义
通过句法分析表示句子的语义(sementic)
依存句法的历史
句法分析的语料
universal tree bank
包含各国的句法数据
为什么使用tree bank
除了上图的优点外,使用tree bank还可以解决歧义问题。CFG文法无法解决歧义问题。但是通过标记依存关系,可以通过机器学习或者深度学习学习出标记的解决方案。
依存句法分析的解决方法
maltparser
依存句法的评估
上面的UAS和LAS含义如下:
为什么构造神经dependency parser
传统的依存句法解析时间都浪费在构建特征当中,使用神经网络大大节省构造特征的时间。
句法分析的应用
句法分析在opinion extraction(观点抽取)中的应用
来源:https://blog.csdn.net/qq_16761099/article/details/92378879