crane

Mxnet (39): 上下文敏感的nlp模型:BERT

99封情书 提交于 2020-10-12 01:43:58
word2vec和GloVe之类的词嵌入模型是与上下文无关。他们将相同的预训练向量分配给相同的单词,而不管该单词的上下文(如果有)。他们很难用自然语言处理好多义性或复杂的语义。这种上下文无关的很有局限性,因此出现了很多上下文敏感的模型,ELMo为其中之一。 ELMo将来自预训练的双向LSTM的所有中间层表示形式组合为输出表示形式,然后ELMo表示将作为附加功能添加到下游任务的现有模型中。虽然这解决了上下文无感的问题,但是解决的方案取决与特定的任务体系。但是,为每个自然语言任务设计特定的体系比价困难。为此GPT模型设计为用于上下文相关且非任务确定的通用模型。GPT建立在Transformer解码器上,可以预训练将用于表示文本序列的语言模型。当将GPT应用于下游任务时,语言模型的输出将被馈送到添加的线性输出层中,以预测任务的标签。但是由于模型具有自回归特征,只能向前看(从左到右),在“我去银行存钱”和“我去银行坐下”的情况下,由于“银行”对左侧的上下文很敏感,因此GPT将为“银行”返回相同的表示形式有不同的含义。 ELMo双向编码上下文,GPT与任务无关。BERT吸取了二者的有点,可以双向编码上下文,使用预训练的Transformer编码器,BERT可以基于其双向上下文表示任何token。下图展示了三者的差异: 用于下游任务的监督学习时: BERT表示将被输入到一个附加的输出层中

美团MySQL巡检系统:上线一年,治理8000+核心隐患

主宰稳场 提交于 2020-08-15 01:27:54
巡检工作是保障系统平稳有效运行必不可少的一个环节,目的是能及时发现系统中存在的隐患。 本文介绍了美团MySQL数据库巡检系统的框架和巡检内容,希望能够帮助大家了解什么是数据库巡检,美团的巡检系统架构是如何设计的,以及巡检系统是如何保障MySQL服务稳定运行的。 我们生活中随处可见各种巡检系统,比如电力巡检、消防检查等,正是这些巡检工作,我们才能在稳定的环境下进行工作、生活。巡检对于数据库或者其他IT系统来说也同样至关重要,特别是在降低风险、提高服务稳定性方面起到了非常关键作用。 一、背景 为了保障数据库的稳定运行,以下核心功能组件必不可少: 图1 数据库运维保障核心功能组件 其中,数据库巡检作为运维保障体系最重要的环节之一,能够帮助我们发现数据库存在的隐患,提前治理,做到防患于未然。对于大规模集群而言,灵活健壮的自动化巡检能力,至关重要。 任何系统都会经历一个原始的阶段,最早的巡检是由中控机+定时巡检脚本+前端展示构成的。但是,随着时间的推移,老巡检方案逐渐暴露出了一些问题: 巡检定时任务执行依赖中控机,存在单点问题; 巡检结果分散在不同的库表,无法进行统计; 巡检脚本没有统一开发标准,不能保证执行的成功率; 每个巡检项都需要单独写接口取数据,并修改前端用于巡检结果展示,比较繁琐; 巡检发现的隐患需要DBA主动打开前端查看,再进行处理,影响整体隐患的治理速度; ……

纯文本输入,就能绘制精美数学图表:CMU绘图工具Penrose登GitHub热榜 | SIGGRAPH

大憨熊 提交于 2020-08-08 22:51:53
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 画数学插图令人头秃? 现在,CMU的研究人员们开发出了一款实用工具Penrose: 以纯文本的方式输入,根据语言描述,就能自动生成数学图表。 集合论: 几何: 线性代数: 光线追踪: 都不在话下。 整个过程,不需要手动进行繁琐调整,只需在软件中用编程语言的方式,描述数学表达式。 并且,这些表达式不仅限于基本功能,而是可以表达任何数学领域的复杂关系。 这一研究成果,入选计算机图形学顶会SIGGRAPH 2020。 在GitHub上,也得到了3500标星,登上热榜。 有网友认为:Penrose,就像是科学图表中LaTeX。 纯文本绘制数学图表 用LaTeX编辑数学公式的快乐,谁用谁知道。 那么Penrose具体是怎么绘制出数学图表的呢? 比如,要画出这样一个集合关系: 在软件界面中,完成这样的输入就能自动生成: 如果对配色、布局不满意,点击「resample」,系统会提供其他不同的选择: 也可以自己手动在「sty」文件中进行调整: 研究人员还提到,该系统支持与基于Web的应用程序集成。并且,Penrose IDE能够提供自动语法高亮和自动补全功能。 不过,目前Penrose尚处在初期版本,未向公众开放。研发团队表示,他们正在快马加鞭,希望能尽快上线公开版本。

计算与软件工程作业三

て烟熏妆下的殇ゞ 提交于 2020-04-06 19:29:28
作业要求 https://edu.cnblogs.com/campus/jssf/infor_computation17-31/homework/10454 我在这个课程的目标是 掌握软件开发知识,自己设计简单的程序,发布并维护 此作业在哪个具体方面帮我实现目标 设计关于单元测试的程序 其他参考文献 https://jingyan.baidu.com/article/d8072ac47c6701ec95cefd82.html https://www.cnblogs.com/yinianzs/p/9774375.html 作业正文 本次作业 单元测试 数组中最大子数组的和 用类/函数来实现 需求:希望返回 3 种信息 最大子数组的和 最大子数组开始的下标 最大子数组结束的下标 从文本文件中读输入的数据,熟悉文件操作, 文件有两种数据 第一个数字:这次测试中有多少个数据, 数字后面是冒号。 后续数字: 每个数据的值,用逗号隔开 代码(C++) #include<iostream> using namespace std; int main() { int n,star=0,end=0; //实现整型数组的输入 cout<<"输入整型数组的长度"; cin>>n; int *p=new int[n]; cout<<"输入一个整型数组"; for(int i=0;i<n;i++) {