【学术研究】Notes 2020-1-12-3 清华大学-哈工大学术交流 圆桌会议
在研究工作中，如何既利用到BERT的能力又能突出我们的工作贡献？/word2vec, Transformer, ELMo, BERT, XLNet之后，什么是NLP的下一代模型。 zhiyuan liu, 应该想一想，bert何如提出来的，品味问题，bert对这个领域产生的影响。 加入知识。语言作为符号系统，背后的意思利用外部信息完成深度理解。把知识考虑进去是非常重要的一个方面。 一个是unsupervised的大规模数据使用 一个是supervised labeled data的使用。 female. 我们下一步是什么？ 可解释性 高效、简化 未来的模型在不同的设备上，大小可调但是性能不影响。 跨媒体，一开始都是在NLP领域，后来会不会有一些解决综合场景的参数和数据上的问题。 知识和规则、如果bert足够优秀，是否可以利用工具，使用高阶规则，生成语料，与合适的词结合起来。 语言各种形式、但是语义是统一的。 yang liu. 02-19年ACL 最佳论文列了一下。 当时根本不知道这个概念 。翻译：为什么做不了这样的事情 大的浪潮一直在变化，如果不处于潮流的最前面，那么就有滞后期。领先NLP的工具方面有很大差距。 不知道现在的时间点上，到底前沿在哪里 阅读文献，看paper。 人工智能的核心，知识从哪来？ 人建造：知识图谱 数据承载，在数据中挖掘。 深度学习 alphaGO