oceanbase

蚂蚁架构师郭援非:分布式数据库是金融机构数字化转型的最佳路径

跟風遠走 提交于 2020-10-14 05:40:39
2020年8月26-28日,在中科软科技举办的中国财险科技应用高峰论坛上,蚂蚁集团高级解决方案架构师郭援非发表了《OceanBase分布式关系数据库助力保险业务创新》的主题演讲,为大家分享了蚂蚁集团企业级分布式关系数据库OceanBase的发展历程、产品价值,以及在保险行业的最佳实践应用。以下为演讲整理。 各位朋友,下午好! 支付宝在全球有十几亿用户,他们可以同时进行可靠、稳定、高效的支付交易,这背后离不开一个重要的秘密武器——OceanBase。今天我很荣幸向大家介绍OceanBase的发展过程、产品特点,以及在保险行业的最佳实践。 分布式数据库OceanBase的迭代 OceanBase数据库立项于2010年,第一个客户是淘宝收藏夹。2013年,OceanBase开始了对SQL的支持。2014年,OceanBase开始支持网商银行的所有业务,成为了全球首个应用在金融核心业务系统的分布式关系数据库。从2014年到2016年,支付宝全部的交易系统和核心账务系统都跑在OceanBase之上。多年来全世界十几亿用户在支付宝上发生的所有交易都是由OceanBase来承载,始终稳若磐石。 2017年,我们开始向更多的外部客户输出我们的技术,我们帮助南京银行打造了“鑫云+”互联网金融业务核心。OceanBase服务过的这些场景里既包括新兴的互联网金融核心业务、传统的金融核心业务

华东师范大学与蚂蚁集团OceanBase成立联合实验室,助推自研数据库创新发展

久未见 提交于 2020-10-02 01:40:23
9 月26日,华东师范大学与蚂蚁集团OceanBase签署战略合作,共建“华东师范大学-北京奥星贝斯分布式数据库联合实验室”,双方将在科研合作、人才培养和学术交流等多领域开展深入合作,依托先进科技手段推进分布式数据库技术透明水平扩展能力建设,助力自研数据库创新发展。 华东师范大学是教育部直属、教育部与上海市共建的全国重点高校,也是国家“211工程”、“985工程”重点建设的高水平研究型大学。蚂蚁集团是一家创新型科技公司,始终关注并支持信息技术领域的人才培养与科技创新应用。推动数据库系统软件自主研发,在数据库领域实现“替代工程”和“转型升级”并举的创新是双方的共同愿景。 双方此次共建实验室是基于蚂蚁OceanBase在分布式数据库方面的技术经验,以蚂蚁丰富的金融业务场景为依托,结合学校的前瞻性科研实力和公司工程化能力,探索分布式关系数据库透明水平扩展的问题和新技术研究,提升以OceanBase为代表的新型分布式数据库的透明水平扩展能力。 不仅如此,双方还将推动分布式数据库教学标准体系建设,以培养下一代数据库人才为驱动力,共同建设OceanBase高校培训认证中心,并以华东师范大学作为试点学习分布式数据库课程,定期开展讲座、专题讨论等活动形式,加强双方的研究和业务交流。 华东师范大学副校长周傲英表示,“分布式数据库技术是未来的发展趋势。

乘风破浪的中国数据库

ε祈祈猫儿з 提交于 2020-08-18 10:08:10
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! “科技行业已经没有什么惊心动魄的大事了!” 进入2020年,已经有不止一家媒体或者科技KOL 做出这样的断言。 相比2012年的O2O大战、2015年的双创热潮、2016年的小巨头合并,以及2018至2019年的中概股扎堆上市,2020年显得格外寂寞。 最近的爆款文章《腰部互联网没有新闻》更是描述了如今科技行业的落寞,由此该文的作者做出推论:互联网变得如此平静,是因为上一波创新的浪潮已经结束,底层技术不再更新。 事实上,早在几年前,英特尔CEO就在多个场合表示“摩尔定律失效了(摩尔定律是指“集成电路上可容纳的元器件的数量每隔18至24个月就会增加一倍,性能也将提升一倍)。” 软件的发展很大程度上取决于硬件的突破,而摩尔定律的失效,似乎暗示已经影响了整个世界长达半个世纪的信息革命正在走向黄昏。 但就像眼睛会欺骗大脑,人们同样会被水面上的平静所迷惑,最终忽视了正在影响未来走向的底层技术变革。 作为三大基础技术之一,数据库就是水面下的那座冰山。 而国产数据库更是在过往四十多年都少人注目,直到近年,行业才有密集的动作。 6月8日,蚂蚁集团宣布将自研数据库产品OceanBase独立进行公司化运作。 巨头的数据库产品成为独立公司,对行业的意义不可谓不深远。但对普通人而言,它完全无法与

MongoDB升级4.0后,这个异常坑了多少人?

孤者浪人 提交于 2020-08-17 18:44:44
​作者介绍 李鹏冲, 网易游戏高级运维工程师,MongoDB和MySQL数据库爱好者,目前专注于SAAS平台的开发与运维工作。 问题 近期线上一个三分片集群从 3.2 版本升级到 4.0 版本以后,集群节点的 CPU 的负载升高了很多(10% -> 40%), 除了版本的升级,项目逻辑和操作量均无变化。 关闭 Balancer 以后 CPU 负载回归正常,稳定在 10% 以下。 为此,只能经常关闭当前正在写入表的 balancer , 每周二打开 balancer 开启均衡,在此期间节点的 CPU 负载持续稳定在 40% 。 集群有 3 个分片,除了 MongoDB 版本的变化,项目本身的逻辑无任何变化。 那么升级以后 CPU 负载较大变化的背后是什么原因呢? 一、监控与日志 首先可以明确,升级以后 CPU 负载升高和 balancer 迁移数据有关。 观察升级以后 4.0 版本,周二打开 balancer 期间的负载情况和 mongostat 结果: 可以发现,CPU 负载升高和 delete 数据的情况很吻合。而迁移数据数据之后源节点需要删除迁移走的数据,所以肯定有大量的 delete 。迁移数据之后的删除也会有如下的日志: 53094:2019-10-08T10:09:24.035199+08:00 I SHARDING [Collection Range Deleter]

2020年7月国产数据库排行:华为、腾讯发新品,中兴、阿里结硕果

时光总嘲笑我的痴心妄想 提交于 2020-08-17 17:07:41
时光荏苒、岁月如梭,2020年已经进入下半场。尽管新冠病毒引起的疫情已经肆虐了6个月,全世界的人们都身受其带来的深远影响,但我们仍应保持信心,随着疫情得到控制、经济重启、业务量回升,整个社会活动终将回归正轨。特别是在数据时代,疫情在某种程度上加速了数字化进程,因此数据库行业必将迎来更加强劲的发展。这点,从疫情得到全面控制的国内环境来看,已经得到了验证。 在为大家整理的这份2020年7月号 国产数据库流行度排行榜 上,TiDB、OceanBase和达梦数据库依旧稳居前三,是国产数据库中的佼佼者。6月上旬TiDB DEVCON 2020的举办,获得了金融、制造、电信、电商、物流、能源、快消、新零售等诸多领域更广泛的认可,也促使TiDB的得分再创新高。OceanBase和达梦则持续深耕细作,在业界保持着口碑和实力的双轮驱动。 ::: 为了给予更多国产数据库一个展示机会,让更多的人了解和关注国产数据库,这次我们还是截取了 墨天轮的国产数据库排行榜 Top 20。这里告诉大家一个彩蛋:点击排行榜中各数据库的名称,均可跳转至对应的百科页面,可以更详细、更全面地了解该数据库哦~~~ 在具体排名上,Top 10虽相较上个月没有任何变化,但以阿里、腾讯、华为为代表的国内大厂纷纷动作不断,从月初到月末,新品、新闻频出,着实令人兴奋: 6月1日,在OceanBase数据库问世十年之际

OceanBase 二次 TPC-C 测试性能提升 10 倍

柔情痞子 提交于 2020-08-17 13:40:20
时隔半年,蚂蚁金服的自研数据库 OceanBase 又去做了 TPC-C 测试。TPC 去年10月2日和今年5月20日公布的测试结果显示,OceanBase都是榜单第一。性能方面,去年OceanBase 的测试结果是6088万 tpmC,今年则是7.07亿 tpmC;TPC-C benchmark 价格也从¥6.25/tpmC 降低到¥3.98/tpmC。不过,一些数据库公司,如Oracle并未参与这两次测试。 OceanBase 二次 TPC-C 测试性能提升 10 倍OceanBase 二次 TPC-C 测试性能提升 10 倍 测试结果 OceanBase 是一个支持海量数据的高性能分布式数据库系统,由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。2017年开始对外商用。 之所以在短时间内做两次测试,是因为 OceanBase 团队认为首次测试尚未充分发挥 OceanBase 分布式架构的真正实力,同时也希望二次测试可以体现其性价比优势。两次 TPC-C 测试采用的都是OceanBase 2.2版本的 Oracle 兼容模式,目前蚂蚁金服内部以及外部商业银行均有 Oracle 业务已经迁移到 OceanBase 的 Oracle 模式。 性能方面。二次测试使用了1557台84核 ECS i2d 服务器,一期仅有207台服务器参与测试。这也证明

2020-06-09互互联网快讯

与世无争的帅哥 提交于 2020-08-15 10:32:45
国内要闻 1、微信举办首场“微信生态招聘会”,上千家企业将提供超过10万个就业岗位 2、蚂蚁集团将自研数据库产品OceanBase独立为新公司,胡晓明担任董事长 3、京东上线电商行业首个大型免费版权素材库,含上亿张图片和主流字体 4、联想与顺丰达成战略合作协议,携手共建智慧物流产业生态 5、网易CEO丁磊确定6月11日在快手和网易严选APP直播首秀,重点带货网易严选 6、格力电器:6月18日再次举行“智惠618·健康生活家”直播活动 7、360宣布全资收购瀚思科技,共同推进大安全战略 8、西安卫星测控中心成功实施北斗三号系统星间链路测试工作 9、铁科院牵头组建的川藏铁路技术创新中心有限公司在成都市天府新区注册成立 10、继微软Azure、Office 365、Dynamics 365中国云之后,微软Power Platform正式在中国商用 政务快讯 1、武汉至北京客运航班6月9日起复航,每天一个往返航班 2、民航局:6月8日起暂停上海作为北京的第一入境点,增加武汉为备用第一入境点 3、山东对中小微企业实施以工代训补贴,企业吸纳1人并开展以工代训最高补贴3000元 4、海南大幅放宽离岛免税购物政策,免税购物额度提升至每人每年10万 5、广州拟成立全国首个城市夜间消费联盟,首届夜间消费节将启动 6、河南新乡成立世界口罩储备基地,10亿口罩助力全球卫生防疫 7、三亚开展保障性住房大整治

美团MySQL巡检系统:上线一年,治理8000+核心隐患

主宰稳场 提交于 2020-08-15 01:27:54
巡检工作是保障系统平稳有效运行必不可少的一个环节,目的是能及时发现系统中存在的隐患。 本文介绍了美团MySQL数据库巡检系统的框架和巡检内容,希望能够帮助大家了解什么是数据库巡检,美团的巡检系统架构是如何设计的,以及巡检系统是如何保障MySQL服务稳定运行的。 我们生活中随处可见各种巡检系统,比如电力巡检、消防检查等,正是这些巡检工作,我们才能在稳定的环境下进行工作、生活。巡检对于数据库或者其他IT系统来说也同样至关重要,特别是在降低风险、提高服务稳定性方面起到了非常关键作用。 一、背景 为了保障数据库的稳定运行,以下核心功能组件必不可少: 图1 数据库运维保障核心功能组件 其中,数据库巡检作为运维保障体系最重要的环节之一,能够帮助我们发现数据库存在的隐患,提前治理,做到防患于未然。对于大规模集群而言,灵活健壮的自动化巡检能力,至关重要。 任何系统都会经历一个原始的阶段,最早的巡检是由中控机+定时巡检脚本+前端展示构成的。但是,随着时间的推移,老巡检方案逐渐暴露出了一些问题: 巡检定时任务执行依赖中控机,存在单点问题; 巡检结果分散在不同的库表,无法进行统计; 巡检脚本没有统一开发标准,不能保证执行的成功率; 每个巡检项都需要单独写接口取数据,并修改前端用于巡检结果展示,比较繁琐; 巡检发现的隐患需要DBA主动打开前端查看,再进行处理,影响整体隐患的治理速度; ……

深度解析数字金融业务发展与配套技术基础建设

橙三吉。 提交于 2020-08-13 13:35:46
作者介绍 姜岩, 哈尔滨银行数据中心总经理。自1993年至今,始终在银行业从事应用系统开发、运维管理、架构管理以及新业务科技实现的设计等相关工作,历经银行系统从单机到联网、从独立到集中、从网点渠道为主到线上渠道为主的发展过程,以及多次核心系统更新换代的亲身参与,对金融科技与业务的配套发展有着深刻的思考。 一、数字金融业务与技术发展的回顾 金融业务与服务,利用信息化技术持续改进与发展,已有近30年的历程,这一发展过程的各个阶段,既改善了金融服务,促进实体经济发展的收益性结果,也有因各类未知问题造成的事件与影响等经验教训,因此,金融业务发展与信息技术的改进优化,是一个互相促进、迭代发展的过程。 根据信息化技术在金融业务发展过程中所起到的作用,以及金融业务服务的阶段性特征,大体可分为以下三个阶段,各阶段之间,既有继承衔接的关系,也有并行发展的关系: 1、会计电算化阶段 金融行业在二十多年以前,开始以计算机技术,逐步替代传统金融业务中的标准人工处理流程,主要包括会计核算、清结算等业务流程,金融业务的服务,仍然是以物理网点为主,但随着计算机网络技术的发展,逐步开始提供跨网点、跨地域、跨银行的便捷金融服务,通过将金融业务人工流程计算机化,逐步提升了业务处理效率,降低了人为操作风险,这一时期技术对于业务发展的关键作用与自身问题如下: 1)在会计核算流程逐渐复杂化的前提下

Maven中央仓库正式成为Oracle官方JDBC驱动程序组件分发中心

自作多情 提交于 2020-08-12 03:43:30
1. 前言 相信参与使用 Oracle 数据库进行项目开发、运维的同学常常被 Oracle JDBC 驱动的 Maven 依赖折磨。现在这一情况在今年二月份得到了改变,甲骨文这个老顽固终于开窍了。 一位甲骨文的工程师发布博客:在 Maven 中央仓库中,现在不单单最新版本的 Oracle JDBC 驱动程序,而且还可以找到以往所有的 Oracle JDBC 驱动发行版,包括 19.6.0.0 、 19.3.0.0 、 18.3.0.0 、 12.2.0.1 和 11.2.0.4 。 Maven 中央仓库正式成为 Oracle 官方的 JDBC 驱动程序和配套 jar 的分发中心。 2. Oracle 正在整合其中央仓库的组件 此外, Oracle 希望对 Maven 中央仓库中的所有 Oracle 数据库组件合并到 com.oracle.database 下进行统一的管理,按照特定的领域指定 groupId ,比如 JDBC 相关的组件为 com.oracle.database.jdbc 、 XML 相关的为 com.oracle.database.xml 。Oracle正在进行一些整合工作,胖哥已经在 Maven 中央仓库找到了这些组件。 这就意味着你不再需要自行安装,只需要引入(以 ojdbc10 为例)相关依赖就能集成 Oracle JDBC 驱动了: <dependency