oceanbase

先问一下，你们公司的主存储技术是什么？估计很多人答案都是 MySQL。 但，SQL 还够用吗？ 那你再想一下，你当下的业务用 MySQL 做主存储还能支撑多久，如果业务量暴增，你能怎么做，愿意花多大价钱进行扩容？ 如果遇到容量和性能问题就升级服务器，开发也太好做了。你要是只能想到这个答案，那今天要聊的这个话题——分布式数据库，对你来说跨度还挺大。 1分钟快速认识分布式数据库 分布式数据库其实就是多个节点的数据库共同形成一个全局数据库来提供服务，优点基本都在 以上对比里了， 访问速度更快，更强的可扩展性，支持更高的并发访问量。 各大互联网公司，甚至金融行业都开始使用分布式数据库，阿里巴巴有 OceanBase 风光无两，TiDB 在银行大受欢迎，各种云厂商相继发布重量级产品。 （2021 年数据大会上，阿里云发布了分布式数据库使用率统计图） 分布式数据库，是必然趋势 这个图展示了数据库技术这些年的技术探索，其实就是个逐渐“分布式”的过程。从 SQL 到 NewSQL 的技术探索，让分布式数据库能够满足两大核心要求： 完整的 ACID 支持，分布式事务和数据一致性保证； SQL 语法的完全兼容，对 SQL 业务的完整支持。 技术的完善性，加上学术与商业氛围浓厚， 分布式数据库已经是大势所趋。 有人会说，现在公司的数据库技术就挺成熟，有必要跟风追新吗？ 公司做技术选型和架构设计

2019年12月15日，蚂蚁金服研究员兼系统部负责人何征宇在OS2ATC 2019上分享了蚂蚁在金融级系统软件上的实践经验，以及对开源协作的理念和做法。以下为演讲整理： 我今天想和大家分享一下我在蚂蚁的一些工作，以及在金融级系统软件中开源协作的探索和实践。 金融行业实际上是一个非常注重科技的行业，因为技术的价值可以得到很直观的展现，然后它是非常注重极致，非常追求技术的先进性的，技术上的先进性可以很快的转化为业务的领先性。 蚂蚁金服作为国内金融企业的领头羊，对于技术的追求是永无止境的。蚂蚁的梦想是服务20亿的消费者，1亿的全球小微经营者，这是一个非常大的愿景，而我们相信只有不断发展的技术才能让这些不可能成为可能。例如我们的310贷款能力，就是建立在一流的金融级大规模数据智能的技术能力之上的。 那么我们系统软件的挑战和做软件的压力是什么？如果用一句话来总结的话，就是在海量数据压力下的服务连续性保障和资损风险监控。首先是要达到一个非常高的可用率，这个跟我们常说高可用系统，例如电信级系统不一样，这个后面除了5个9之外，还有金融机构非常严格的一些要求，比如100%保证资金安全，这是蚂蚁金服一直在追求的能力。 蚂蚁金服与系统软件 蚂蚁金服也确实在各个系统软件的方向上追求极致。首先从数据库的角度来讲，OceanBase 在 TPC-C 评测中打破了 Oracle 多年的垄断，这一结果是

一、数据导入的方式 向MySQL数据库导入数据，通常有两种办法，第一种是利用SOURCE命令，第二种是使用LOAD DATA命令。 SOURCE命令是通过执行SQL文件中的INSERT语句来实现数据的导入。正常情况下，如果我们向单节点的MySQL，用INSERT语句批量写入数据，在普通的PC机上，写入10万条数据，大概需要7~8分钟时间。按照这个速度推算，写入1千万条数据大概需要10个小时以上。如果在集群条件下，这个速度会更慢。 MySQL的集群分为PXC和Replication集群。其中Replication集群是异步传输的，它只保证事物在当前节点成功写入，数据是否能同步到其他节点，Replication集群并不能给我们打包票。所以Replication集群经常出现A节点写入数据，但是在B节点读取不到数据的情况。每年Apple秋季发布会之后，很多人会到Apple官网抢购iPhone手机，然而每年都有顾客会遇到付款之后，订单依旧是未支付的状态。这就是典型的Replication集群的效果，数据出现了不一致。如果采用PXC集群，因为数据是同步传输，所以我们在A节点写入数据，提交事务的时候，PXC必须保证所有MySQL节点都成功写入这条数据，才算事务提交成功，所以不会出现A节点写入数据，在B节点上读取不到数据的情况。因此PXC更加适合保存重要的数据，例如交易记录、学籍信息、考试成绩

近2年Docker非常的火热，各位开发者恨不得把所有的应用、软件都部署在Docker容器中，但是您确定也要把数据库也部署的容器中吗？这个问题不是子虚乌有，因为在网上能够找到很多各种操作手册和视频教程，这里整理了一些数据库不适合容器化的原因供大家参考，同时也希望大家在使用时能够谨慎一点。目前为止将数据库容器化是非常不合理的，但是容器化的优点相信各位开发者都尝到了甜头，希望随着技术的发展能够更加完美的解决方案出现。 Docker不适合部署数据库的7大原因 1、数据安全问题 不要将数据储存在容器中，这也是 Docker 官方容器使用技巧中的一条。容器随时可以停止、或者删除。当容器被rm掉，容器里的数据将会丢失。为了避免数据丢失，用户可以使用数据卷挂载来存储数据。但是容器的 Volumes 设计是围绕 Union FS 镜像层提供持久存储，数据安全缺乏保证。如果容器突然崩溃，数据库未正常关闭，可能会损坏数据。另外，容器里共享数据卷组，对物理机硬件损伤也比较大。即使你要把 Docker 数据放在主机来存储 ，它依然不能保证不丢数据。使用当前的存储驱动程序，Docker 仍然存在不可靠的风险。如果容器崩溃并数据库未正确关闭，则可能会损坏数据。 2、性能问题 大家都知道，MySQL 属于关系型数据库，对IO要求较高。当一台物理机跑多个时，IO就会累加，导致IO瓶颈，大大降低 MySQL

自 2008 年双 11 以来，在每年双 11 超大规模流量的冲击上，蚂蚁金服都会不断突破现有技术的极限。2010 年双 11 的支付峰值为 2 万笔/分钟，到 2017 年双 11 时这个数字变为了 25.6 万笔/秒。 2018 年双 11 的支付峰值为 48 万笔/秒 ，2019 年双 11 支付峰值为 54.4 万笔/秒，创下新纪录，是 2009 年第一次双 11 的 1360 倍。 在如此之大的支付 TPS 背后除了削峰等锦上添花的应用级优化，最解渴最实质的招数当数基于分库分表的单元化了，蚂蚁技术称之为 LDC（逻辑数据中心）。 本文不打算讨论具体到代码级的分析，而是尝试用最简单的描述来说明其中最大快人心的原理。 我想关心分布式系统设计的人都曾被下面这些问题所困扰过： 支付宝海量支付背后最解渴的设计是啥？换句话说，实现支付宝高 TPS 的最关键的设计是啥？ LDC 是啥？LDC 怎么实现异地多活和异地灾备的？ CAP 魔咒到底是啥？P 到底怎么理解？ 什么是脑裂？跟 CAP 又是啥关系？ 什么是 PAXOS，它解决了啥问题？ PAXOS 和 CAP 啥关系？PAXOS 可以逃脱 CAP 魔咒么？ Oceanbase 能逃脱 CAP 魔咒么？ 如果你对这些感兴趣，不妨看一场赤裸裸的论述，拒绝使用晦涩难懂的词汇，直面最本质的逻辑。 LDC 和单元化 LDC（logic

过去几年是云原生理念高速普及的黄金时期。微服务、容器、无服务器架构、服务网格等新技术的出现，在技术社区中激起了一浪又一浪的创新热潮。然而由于金融行业对性能和安全的严苛要求，云原生技术在企业实际场景中的实施落地，特别是在金融场景的实施落地，仍然面临诸多挑战。 本文整理自2020阿里云线上峰会蚂蚁集团资深技术专家尹博学的主题演讲，为大家分享蚂蚁关于金融级IT架构及分布式架构的思考和应用实践。关注本公众号，蚂蚁SOFAStack白皮书即将发布，不要错过哦～ 以下为演讲整理全文： 大家好，我是蚂蚁集团的尹博学，今天和大家分享一下蚂蚁关于金融级IT架构及分布式架构的一些思考和应用案例，主要包含三个部分，分别是行业常见的分布式架构介绍、蚂蚁单元化架构的介绍以及单元化架构的应用案例。 行业常见分布式架构 行业常见的分布式架构主要包含，单活架构、双活架构和冷备架构。从容灾能力角度来看，双活架构和冷备架构均能做到应用级跨机房容灾，但是数据库因为使用了异步复制的技术，无法做到机房级RPO=0的容灾。再看灰度发布的能力，冷备架构和双活架构都只能做到机房级灰度发布，无法做到更细粒度的灰度发布。 蚂蚁集团单元化架构介绍 在介绍完行业常见的分布式架构后，我们来看一下蚂蚁的分布式架构发展历程，和单元化架构的详细介绍。 这是蚂蚁分布式架构发展历程。蚂蚁也经历了 单活 、 同城双活 、 两地三中心 三个阶段

来源： 券商中国 作者： 段久惠 国人买买买，双十一期间交易额首次进入万亿元时代。 今年双十一分为两个阶段，11月初就开始预售，一方面减缓了商家发货的压力，另一方面在营销上商家有了两波密集营销的机会以带动更多销量。官方数据显示，今年双十一期间（11.1—11.11），阿里天猫成交额4982亿元、京东商城累计成交2715亿元，再加上 苏宁易购 、拼多多等电商平台的交易量，今年消费者在双十一期间的交易总额或逼近万亿元。 2009年至2020年这12年期间，中国网购人群的数量由8788万上涨到了7.1亿（截至2020年3月），天猫商城双十一期间成交额由5000万元上涨到了4982亿。除了引爆消费增长的数据之外，今年双十一有几个特点及新趋势值得关注： 百亿产业带助力制造业复苏、国货崛起，预售拉动内需、国际国内双循环，天猫订单峰值达58.3万笔/秒 、“应对峰值不再是最大技术挑战”，全民加速“触网”、下沉市场成为最强增量，物流变快、“尾款人”数分钟内即可完成收货，直播带货爆发、1亿人见证数字物流，平台方联手金融机构创新玩法助推千亿元消费金融爆发。 双十一关键数据： 11月1日0时至11月11日0点30分，2020年天猫双11全球狂欢季的实时成交额突破3723亿元。实时成交额超过1亿元的品牌已经超过300个。截至11月11日24点，2020天猫双11全球狂欢季期间的成交额突破4982亿

2009 年我国数据库软件市场规模为 35.03 亿元，2017 年我国数据库软件市场规模增长至 120.00 亿元。8年时间内，我国数据库软件市场始终保持平稳增长，年均复合增长率为 17.5%，且增速呈现递增趋势。 根据中研产业研究院估计，到 2020 年，我国数据库软件市场规模预计达到 200 亿元，但市场份额的大部分被 Oracle 等国际厂商占据。而随着我国 IT 技术栈的不断演进，去“IOE”已经由一个企业的目标，变成了整个行业的目标。 另一方面，在市场增长与技术升级的双重机遇推动下，众多国产数据库在市场上涌现，包括阿里巴巴的 OceanBase、华为的 GaussDB 等，同时也有更多新兴数据库企业，找准了在更加细分的赛道优势打开局面，有的甚至登上了技术标准的高地。 作为国产数据库里的知名选手，SequoiaDB 巨杉数据库，是一款金融级分布式关系型数据库，也是一款开源产品（Github地址：https://github.com/SequoiaDB/SequoiaDB），SequoiaDB 最大的贡献在于将标准 SQL、事务与NoSQL的分布式存储相结合。 为了帮助更多技术人了解数据库，做好自己的职业规划，本周四（11月19日）CSDN 高校俱乐部特邀请了巨杉数据库-资深总监萧少聪来进行线上主题分享《从数据库历史看技术人的发展》，为听众分享技术迭代的规律

每一年的双十一都是新技术的演练场，对于技术人员来说，维持双11全天24小时稳定流畅固然不易，但最为考验的时刻当属零点刚过，大家操起手机，刷新早已存好的购物车，点击支付的那一刻！ 11年，零点越来越平滑的双11购物背后，支付宝有过哪些不为人知的技术探索。本篇文章原文作者为蚂蚁金服科技。、 # 快速领取通道：（ 点这里 ）免费获取！诚意满满！！！ Java面试精选题、架构实战文档传送门： https://jq.qq.com/?_wv=1027&k=iWJZw1rp 正文： 和过去10年一样，2019年天猫双11又创造了一个全新的纪录。 这个数字背后，是数代支付宝工程师们殚精竭虑、不断突破技术难关。 从外部瓶颈说起 从外部瓶颈说起 事情从一开始就显得不是很顺利。 2011年的双十一，在高峰时期少数用户无法付款，经过调查发现，这是因为少数银行的网银系统在压力下出现故障。早年的支付宝交易，用户点击支付后需要从支付宝和银行的接口去付款，而早年这个接口的性能很差，每秒只能支持几十到上百笔交易，稳定性也比较差，一旦流量上来，容易发生故障。 如果不解决这个问题，今后的每次大促都会出现无法付款的情况，极大影响用户体验。但是，这个问题单靠技术是很难解决的，银行对网银系统的演进有自己的规划，支付宝无法去干涉它们的系统。 不过，聪明的运营人员想出了一个变通的办法。在2012年的双十一

OB君：2020年9月25日，OceanBase在外滩大会举办的“数据库，新标杆，新征途”分论坛正式落幕，内容涵盖数据库的趋势探讨、分布式数据库的技术创新与行业应用，及国内数据库的发展与生态。欢迎持续关注本系列内容~ 北京奥星贝斯科技有限公司 CTO 兼 OceanBase 数据库创始人阳振坤，在外滩大会上分享了《OceanBase 数据库七亿 tpmC 的关键技术》的主题演讲，以下为演讲实录： 联机事务处理（OLTP）系统 很多人都清楚事务的 ACID 特性，知道事务要满足原子性、一致性、隔离性和持久性，这是从数据库本身的角度来看。但是，如果站在业务的角度，客户对数据库其实有更高的要求，第一个要求是数据不能错，交易数据是企业所有数据的基础，是最核心的数据，这是企业的命脉。 第二个要求是服务不能停，比如最早期的支付宝在后半夜没有业务访问或者业务访问量很少，如今支付宝24小时都有访问，每日高峰的时候峰值甚至比早年的双11还高。所以服务是永远不能停的。 第三个要求是事务高并发处理能力，因为很难预算出有多少用户在同时使用，所以这就需要数据库有高度并发处理的能力。全世界有非常多的数据库厂商，近年来也进入了国产数据库的繁荣时期，但是翻过这座山真正能够把这套系统做到生产中使用的其实少之又少。 TPC-C 基准测试 TPC-C benchmark 诞生于上个世纪80年代，ATM