Sequence

阿里云推出高效病毒基因序列检索功能,它的底层逻辑原来是这样的

穿精又带淫゛_ 提交于 2020-04-14 12:10:52
【推荐阅读】微服务还能火多久?>>> 1.背景介绍 2019年年底,中国的新兴的商业中心武汉,爆发了一种新型的冠状病毒,在流行的两个多月中,在中国造成了3300多人死亡,8万2千多人感染。随着疫情的进一步蔓延,目前已经横跨了109个国家,造成了80多万人感染,4万多人失去了生命。到目前为止,疫情使得50多个国家停摆,全世界范围内造成了数千亿美元的经济损失。阿里云提供高效基因序列检索助力冠状病毒序列分析用于疫情防治。 对于当下疫情,基因序列分析技术主要用在一下几个方面。 第一,用在新冠状病毒的溯源和分析,可以帮助人们找到病毒宿主,做好有效的防范。通过基因匹配技术,我们可以发现,蝙蝠和穿山甲身上的冠状病毒的RNA序列匹配度达到到了96%和99.7%,因此穿山甲和蝙蝠很可能是新型冠状病毒的宿主。 第二,通过基因序列分析,对基因序列进行功能区域划分,了解各个模块的功能,从而更好地分析出病毒的复制,传播的过程。找到关键节点,设计出相关的药物和疫苗。 第三,同时也可以检索到与冠状病毒相似的病毒基因序列,比方说SARS,MERS等病毒。从而可以借鉴相关的药物靶点的设计机制,更快更高效的设计出来相关的检测试剂盒,疫苗,以及相关的治疗药物。 但是,当前的的基因匹配算法太慢,因而迫切的需要高效的匹配算法来进行基因序列分析。阿里云AnalyticDB团队将基因序列片段转化成对应的1024维的向量特征

Java—网络编程总结(整理版)

自作多情 提交于 2020-04-13 18:30:58
【今日推荐】:为什么一到面试就懵逼!>>> 1. 概述   计算机网络是通过传输介质、通信设施和网络通信协议,把分散在不同地点的计算机设备互连起来的,实现资源共享和数据传输的系统。网络编程就是编写程序使互联网的两个(或多个)设备(如计算机)之间进行数据传输。Java语言对网络编程提供了良好的支持。通过其提供的接口我们可以很方便地进行网络编程。 2. 网络分层   计算机网络20世纪60年代出现,经历了20世纪70年代、80年代和90年代的发展,进入21世纪后,计算机网络已经成为信息社会的基础设施,深入到人类社会的方方面面,与人们的工作、学习和生活息息相关。计算机网络分为网络协议和网络体系结构。 2.1 网络体系结构   通过网络发送数据是一项复杂的操作,必须仔细地协调网络的物理特性以及所发送数据的逻辑特征。通过网络将数据从一台主机发送到另外的主机,这个过程是通过 计算机网络通信 来完成。   网络通信的不同方面被分解为 多个层 , 层与层之间用接口连接 。通信的双方具有相同的层次,层次实现的功能由 协议数据单元(PDU)来描述 。不同系统中的同一层构成对等层,对等层之间通过对等层协议进行通信,理解批次定义好的规则和约定。每一层表示为物理硬件(即线缆和电流)与所传输信息之间的不同抽象层次。在理论上,每一层只与紧挨其上和其下的层对话。将网络分层,这样就可以修改甚至替换某一层的软件

分布式事务之两阶段提交协议(2PC)and 使用事件和消息队列实现分布式事务

落花浮王杯 提交于 2020-04-12 17:48:16
两阶段提交协议(Two-phase Commit,2PC)经常被用来实现分布式事务。一般分为协调器C和若干事务执行者Si两种角色,这里的事务执行者就是具体的数据库,协调器可以和事务执行器在一台机器上。 我们的应用程序(client)发起一个开始请求到TC; TC先将<prepare>消息写到本地日志,之后向所有的Si发起<prepare>消息。以支付宝转账到余额宝为例,TC给A的prepare消息是通知支付宝数据库相应账目扣款1万,TC给B的prepare消息是通知余额宝数据库相应账目增加1w。为什么在执行任务前需要先写本地日志,主要是为了故障后恢复用,本地日志起到现实生活中凭证 的效果,如果没有本地日志(凭证),出问题容易死无对证; Si收到<prepare>消息后,执行具体本机事务,但不会进行commit,如果成功返回<yes>,不成功返回<no>。同理,返回前都应把要返回的消息写到日志里,当作凭证。 TC收集所有执行器返回的消息,如果所有执行器都返回yes,那么给所有执行器发生送commit消息,执行器收到commit后执行本地事务的commit操作;如果有任一个执行器返回no,那么给所有执行器发送abort消息,执行器收到abort消息后执行事务abort操作。 注:TC或Si把发送或接收到的消息先写到日志里,主要是为了故障后恢复用。如某一Si从故障中恢复后

线上订单号重复了?一招搞定它!

人走茶凉 提交于 2020-04-12 17:23:33
问题的背景 公司老的系统原先采用的时间戳生成订单号,导致了如下情形 打断一下:大家知道怎么查系统某项重复的数据吧 SELECT * FROM XX表 WHERE 重复项 in( SELECT 重复项 FROM XX表 GROUP BY 重复项 HAVING count(1) >= 2) 解决方法 不得了,这样重复岂不是一单成功三方回调导致另一单也成功了。 多个服务怎么保证生成的订单号唯一呢? 先上code package com . zhongjian . util ; public class IdWorkerUtil { private long workerId ; private long datacenterId ; private long sequence ; public IdWorkerUtil ( long workerId , long datacenterId , long sequence ) { // sanity check for workerId if ( workerId > maxWorkerId || workerId < 0 ) { throw new IllegalArgumentException ( String . format ( "worker Id can't be greater than %d or less than 0

HDU1003 Max Sum【最大子段和+DP】

主宰稳场 提交于 2020-04-11 16:26:08
Max Sum Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 350199 Accepted Submission(s): 83372 Problem Description Given a sequence a[1],a[2],a[3]…a[n], your job is to calculate the max sum of a sub-sequence. For example, given (6,-1,5,4,-7), the max sum in this sequence is 6 + (-1) + 5 + 4 = 14. Input The first line of the input contains an integer T(1<=T<=20) which means the number of test cases. Then T lines follow, each line starts with a number N(1<=N<=100000), then N integers followed(all the integers are between -1000 and 1000). Output

CV_Daily Issue 19

帅比萌擦擦* 提交于 2020-04-11 11:44:43
CV_Daily Issue 19 author: xyang Detection [检测+卫星图像] Detecting Parking Spaces in a Parcel using Satellite Images 遥感来自卫星的图像已被用于各种领域,用于检测和理解地面上的结构。 在这项工作中,卫星图像用于使用基于RCNN的神经网络架构来定位给定地块的停车位和停车场中的车辆。 来自USGS图像存档的包裹形状文件和光栅图像用于开发训练和测试的图像。 基于特征金字塔的掩模RCNN使停车位和车辆的平均等级精度达到97.56% [检测+白细胞计数]Automated Blood Cell Detection and Counting via Deep Learning for Microfluidic Point-of-Care Medical Devices 自动体外细胞检测和计数已成为人工和智能生物分析的关键主题,如活组织检查,药物分析和死亡诊断。 随着微流体技术和芯片实验室技术的快速发展,体外活细胞分析已成为研究和工业界的关键任务之一。 然而,从众多微观视频和图像中获取并预测活细胞的精确信息是一项巨大的挑战。 在本文中,我们使用深度神经网络研究了白细胞的体外检测,并讨论了最先进的机器学习技术如何满足医学诊断的需要。 我们在本研究中使用的方法基于更快的基于区域的卷积神经网络

前端面试复习:网络篇 | 30岁的我找工作好难

岁酱吖の 提交于 2020-04-10 16:22:37
前言 个人情况(陈年老词): 2020.1 公司因为业务调整,90% 被友好劝退了(N+1)。又逢疫情在家耗了 4 个月,3 月末开始找工作,发现都没人搭理我,快 30 的我开始慌了。 某晚看到 【新鲜面经】 四月面试不用慌,掘友攻略来帮忙| 掘金技术征文展(第一弹) ,深深佩服各位掘友的 掘学 出众,反思自己太“弱”了,就这段时间好好再巩固下前端知识点,希望也能找到个不错的工作。 这篇主要写下 网络相关 的知识点。后续还会涉及:数据结构、js、css、Vue 等一些能归纳的知识块,不会面面俱到,起码为后续自己面试有个足够的准备。 每篇内容肯定不够细致,更多扩展的地方可以看如下的“参考文章”。 参考文章 短期内,无法落地 demo 用于实践,多数还是借鉴网上各个作者的知识总结,这里为他们的付出表示感谢! 【掘金】2020年前端面试复习必读精选文章【赠复习导图】 【掘金】面试官,不要再问我三次握手和四次挥手 【头条】web 前端基础:浏览器的缓存机制 【头条】从事件轮询 Event Loop,看 microTask、macroTask 【bbsmax】HTTP2.0 简明笔记 【segmentfault】你真的了解回流和重绘吗 【github】浅说 XSS 和 CSRF TCP TCP/IP 四层网络模型 TCP(Transmission Control Protocol)

RNN,写起来真的烦

老子叫甜甜 提交于 2020-04-10 11:28:06
曾经,为了处理一些序列相关的数据,我稍微了解了一点递归网络 (RNN) 的东西。由于当时只会 tensorflow,就从官网上找了一些 tensorflow 相关的 demo,中间陆陆续续折腾了两个多星期,才对 squence to sequence,sequence classification 这些常见的模型和代码有了一些肤浅的认识。虽然只是多了 时间 这个维度,但 RNN 相关的东西,不仅是模型搭建上,在数据处理方面的繁琐程度也比 CNN 要高一个 level。另外,我也是从那个时候开始对 tensorflow 产生抵触心理,在 tf 中,你知道 RNN 有几种写法吗?你知道 dynamic_rnn 和 static_rnn 有什么区别吗?各种纷繁复杂的概念无疑加大了初学者的门槛。后来我花了一两天的时间转向 pytorch 后,感觉整个世界瞬间清净了 (当然了,学 tf 的好处就是转其他框架的时候非常快,但从其他框架转 tf 却可能生不如死)。pytorch 在模型搭建和数据处理方面都非常好上手,比起 tf 而言,代码写起来更加整洁干净,而且开发人员更容易理解代码的运作流程。不过,在 RNN 这个问题上,新手还是容易犯嘀咕。趁着这一周刚刚摸清了 pytorch 搭建 RNN 的套路,我准备记录一下用 pytorch 搭建 RNN 的基本流程,以及数据处理方面要注意的问题

tensorflow:rnn中的output和state

三世轮回 提交于 2020-04-10 07:29:36
原文: https://xdrush.github.io/2018/02/12/RNN%E5%8E%9F%E7%90%86%E8%AF%A6%E8%A7%A3%E4%BB%A5%E5%8F%8Atensorflow%E4%B8%AD%E7%9A%84RNN%E5%AE%9E%E7%8E%B0/ 关于output和state 个人认为,RNN最难理解的地方之一就是output和state,output对应的是输出,state对应的是状态,在tensorflow中,dynamic_rnn、static_rnn、bidirectional_dynamic_rnn、static_bidirectional_rnn都是返回(outputs, last_states)元组, 注意,last_states是最终的状态,而outputs对应的则是每个时刻的输出。 在使用tensorflow做RNN相关任务时,这一点不理解清楚后面就没法儿继续了。 output和state在RNN及其变体中的意义是不一样的,所表示的值也不一样,下面来看下几个最基本的RNN及其变体中的output和state的含义: BasicRNNCell 基本的RNN结构如下所示: 在基本的RNN结构中,我们可以认为输出就等于隐层状态值。我们来看下以下代码的outputs和last_states的值: <p>1</p> <p>2<

MySQL 上亿大表优化实践 转

不想你离开。 提交于 2020-04-09 19:02:21
作者: jiaxin 出处: http://www.cnblogs.com/YangJiaXin/ 目录 背景 分析测试 select xxx_record语句 delete xxx_record语句 实施 索引优化后 delete大表优化为小批量删除 总结 背景 XX实例(一主一从)xxx告警中每天凌晨在报SLA报警,该报警的意思是存在一定的主从延迟(若在此时发生主从切换,需要长时间才可以完成切换,要追延迟来保证主从数据的一致性) XX实例的慢查询数量最多(执行时间超过1s的sql会被记录),XX应用那方每天晚上在做删除一个月前数据的任务 分析 使用pt-query-digest工具分析最近一周的mysql-slow.log pt-query-digest --since=148h mysql-slow.log | less 结果第一部分 最近一个星期内,总共记录的慢查询执行花费时间为25403s,最大的慢sql执行时间为266s,平均每个慢sql执行时间5s,平均扫描的行数为1766万 结果第二部分 select arrival_record操作记录的慢查询数量最多有4万多次,平均响应时间为4s,delete arrival_record记录了6次,平均响应时间258s select xxx_record语句 select arrival_record