pingcap

聊聊尖叫娱乐的未来，尖叫娱乐注册登录官方指定站 PingCAP 成立五周年前夕 我还清楚记得，五年前的这个时候，当时还在豌豆荚，午后与刘奇和崔秋的闲聊关于未来数据库的想象，就像一粒种子一样，到了今天看起来也竟枝繁叶茂郁郁葱葱，有点感慨。按照惯例，五年是一个重要的节点，没有十年那么冗长，也没有一两年的短暂，是一个很好的回顾节点，就在此认真的回顾一下过去，展望一下未来。 五年前创业的出发点其实很朴素：做一个更好的分布式数据库。从学术的角度上看起来，并不是提出了什么惊天地泣鬼神的神奇算法，我们选择的 Shared-nothing 的架构其实在当时的业界也不是什么新鲜的事情了，但真正令我激动的是：我们要造的是一个真正能作为整个系统的 Single Source of Truth 的基础软件。这句话怎么理解呢？我在后边会好好聊聊。 数据是架构的中心 作为一个互联网行业的架构师，几乎是天天都在和各种类型的数据打交道，这么多年的经验，不同行业不同系统，从技术层面来说，抽象到最高，总结成一句话就是： 数据是架构的中心。 仔细想想，我们其实做的一切工作，都是围绕着数据。数据的产生，数据的存储，数据的消费，数据的流动……只不过是根据不同的需求，变化数据的形态和服务方式。计算机系的同学可能还记得老师说过的一句话：程序 = 算法 + 数据结构，我这里斗胆模仿一下这个句式：系统 = 业务逻辑 x 数据

源自 https://www.cnblogs.com/1ning/p/8985999.html 简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案 特性 1）高度兼容 MySQL 大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 2）水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。 3）分布式事务 TiDB 100% 支持标准的 ACID 事务。 4）真正金融级高可用 相比于传统主从 (M-S) 复制方案，基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保证，且在不丢失大多数副本的前提下，可以实现故障的自动恢复

作者：殷成文 2019 年 12 月 31 日，我们在 GitHub 上正式开源了 Chaos Mesh。作为一个云原生的混沌测试平台，Chaos Mesh 提供在 Kubernetes 平台上进行混沌测试的能力。本篇文章将围绕 Chaos Mesh 起源及原理等方面进行介绍，并结合具体案例带领大家一起探索混沌测试的世界。 现实世界中，各类故障可能会随时随地的发生，其中有很多故障我们无法避免，例如磁盘突然写坏，或者机房突然断网断电等等。这些故障可能会给公司造成巨大损失，因此提升系统对于故障的容忍度成为很多工程师努力的目标。 为了更方便地验证系统对于各种故障的容忍能力，Netflix 创造了一只名为 Chaos 的猴子，并且将它放到 AWS 云上，用于向基础设施以及业务系统中注入各类故障类型。这只 “猴子” 就是混沌工程起源。 在 PingCAP 我们也面临同样的问题，所以在很早的时候就开始探索混沌工程，并逐渐在公司内部实践落地。 在最初的实践中我们为 TiDB 定制了一套自动化测试平台，在平台中我们可以自己定义测试场景，并支持模拟各类错误情况。但是由于 TiDB 生态的不断成熟，各类周边工具 TiDB Binlog 、 TiDB Data Migration 、 TiDB Lightning 等的出现，测试需求也越来越多，逐渐出现了各个组件的的测试框架。但是混沌实验的需求是共有的

作者：唐刘 对于 80 后的男生来说，『七龙珠』是一部绕不开的经典漫画，里面的主角孙悟空掌握了一项强大的必杀技 - 元气弹，他通过收集万物的能量，汇聚成一个有巨大破坏力的能量球，然后发射给反派将其打败。每每在漫画里面看到这样的情况，年少的我就激动不已，梦想着有一天也可以自己举起双手，汇聚出元气弹。 当然，现在我们知道举起双手是不可能造出元气弹了，但从另一方面来说，如果我们能很好地利用好大家的力量，统一的往一个方向努力，解决某一个特定的问题，这不就是另一种元气弹的形式吗？在 PingCAP，我们每个季度都会做这样一次活动，叫做 Special Week（后面简称 SW），在 2019 年第四季度，我们 SW 的主题是 - Tools matter，很直白，就是工具很重要。 PingCAP 一直致力于跟社区一起构建 TiDB 的生态，这其中 Tools 扮演了非常重要的角色。大家可能会用 TiDB Data Migration（以下简称 DM）将 MySQL 的数据迁移到 TiDB，或者使用 TiDB Binlog 工具将 TiDB 的数据同步到下游其他的服务。 这次 Special Week 希望集思广益，从其他角度来改进 Tools，降低大家使用 TiDB 的门槛。 为了将 SW 相关的进度公开到社区。我们创建了一个 GitHub project 来放置所有的开发任务

docker compose测试环境部署 官方文档:https://pingcap.com/docs-cn/stable/how-to/get-started/deploy-tidb-from-docker-compose/ 要求： Docker（17.06.0 及以上版本） Docker Compose Git #关闭防火墙 systemctl stop firewalld systemctl disable firewalld #centos默认装1.13的docker，卸载原来的docker13 yum -y remove docker* rm -rf /var/lib/docker/ #安装最新的docker,使用阿里云 yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum list docker-ce --showduplicates #查询新的docker版本 yum install docker-ce #不指定默认拉取最新的docker systemctl start docker docker version

28 日，在 2017 易观 A10 大数据应用峰会上，针对“有序漏斗”难题进行行业攻坚的“2017 易观 OLAP 算法大赛”公布了最终结果。PingCAP 参赛组以超过原始基准测试近 30 倍的成绩，获得了商业组的冠军，并作为优秀案例在大会进行了解题思路分享。 PingCAP 作为本次算法大赛商业组参赛队，借助 TiDB 的算法引擎，展现了强大的复杂 OLAP 处理能力。 作为 PingCAP 的核心产品 TiDB 受 Google/F1 启发，具备强大的水平扩展，强一致性的多副本数据安全，分布式事务，实时 OLAP 等特性。依托这些特性，TiDB 彻底改变以往数据库弹性扩容与事务处理不可兼具的境况，将在线事务处理和在线分析处理融为一体，完美适配大数据背景下各行业的数据存储、计算需求。 作为 TiDB 项目中针对解决用户复杂 OLAP 需求的重要组件，TiSpark 将 Spark SQL 直接运行在 TiDB 存储层上，同时融合 TiKV 分布式集群的优势，并融入大数据社区生态。至此，TiDB 可以通过一套系统，同时支持 OLTP 与 OLAP，免除用户数据同步烦恼。 本次 2017 易观 OLAP 算法大赛以攻坚“有序漏斗”为考题，TiDB 的算法引擎在处理时将性能作为首要目标，运用多种存储布局和索引手段，对数据进行快速扫描和有效过滤，大量使用 SIMD 技术的向量化计算

十一长假倒计时 6 天！如果你「没安排、只能宅」，这里有件好玩又 Hack 的事情，你来不来？ TiDB Hackathon 2019 将在 10 月 26 - 27 日举办，比赛主题为「Improve」，参赛选手可以为 TiDB 性能、易用性、稳定性、功能等各方面做出提升，当然也可以围绕 TiDB 生态做一些周边工具提升效率。不仅有大咖导师现场带教，奖金也非常丰厚哦～ 7 天长假备战一场黑客马拉松绰绰有余呀，在家睡觉不如 Hack，约起来吧盆友们！ 学习资料 前序阅读： 深入学习之前，大家需要对 TiDB 的架构和基本原理有一定的了解，请先阅读以下几篇文章： TiDB 架构 说存储 说计算 谈调度 TiDB 源码阅读系列文章（二）初识 TiDB 源码 TiDB 源码阅读系列文章（三）SQL 的一生 TiDB 是集群的 SQL 层，承担了与客户端通讯（协议层）、语法解析（SQL Parser）、查询优化（Optimizer）、执行查询计划等工作。 TiKV 是分布式存储层，内部结构可分为多层，每层有各自的功能，从底向上分别为：RocksDB、Raft、Raft KV、MVCC、TXN KV、Coprocessor。 PD 在集群中的地位是一个逻辑上的单点，类似于很多系统中都有的 master server 或者 meta server 之类的组件，PD

PingCAP Talent Plan 学习通道自开通以来，收获了海内外小伙伴的密切关注，有 100 余名小伙伴参与到线上课程的学习中，第二期线下课程也于 5 月中旬圆满落幕。结合大家的意见，我们对 Talent Plan 的课程做了一些优化，并推出 Talent Plan 暑期特别企划，线上课程和线下课程都增加了一些新的元素～大家快来接收这一波“小惊喜”吧！ 线上课程 1. Practical Networked Applications in Rust 全面开放 我们发现很多开发者都愿意参与 TiKV 的研发，但通常都会遇到两个困难，第一是不会 Rust 语言，因为这门语言的门槛实在太高了，第二是没有分布式数据库相关的理论知识，不知道如何用 Rust 写一个分布式高性能服务。虽然现在市面上有很多的 Rust 教程，但大多数是集中在语言本身的教学上面，所以我们决定在它们的基础上，专门推出一套新的 Rust 培训课。基于这方面的考虑， Rust 核心作者 Brian Anderson 对 Rust 课程进行重新设计，推出 Practical Networked Applications in Rust （ https://github.com/pingcap/talent-plan/tree/master/rust ），并向社区小伙伴全面开放 。 通过这门课程，大家不仅能学到

TiDB Hackathon 2019 已经开放报名 1 个多月啦，之前抓耳挠腮想不到选题、组不到队友的伙伴们都渐渐成队，并开始做赛前准备了。为了刺激围观同学的“灵感小火花”，我们今天又扩充了一波选题，如果大家还不知道做什么项目的话，择日不如撞日，今天就锚定一个果断报名参赛吧！ 另外，参赛选手在赛前准备阶段对选题有任何疑问，都可以联系 TiDB Robot（微信号：tidbai），导师团将针对性地进行赛前辅导，帮大家扫清一些知识盲区哦～ 参考选题 性能提升 提升 TiDB 的内存复用（可以考虑使用 sync.pool） 用 unistore 替换 mocktikv，跑出单机 TiDB 的极限性能，同时加快跑单元测试 易用性提升 Key visualizer for TiKV，相关资料: https://cloud.google.com/blog/products/databases/develop-and-deploy-apps-more-easily-with-cloud-spanner-and-cloud-bigtable-updates 热点索引统计 使用 SQL 获取集群信息 稳定性提升 自适应 SQL 引擎 提高 Cost 估算的精度 基于历史的查询优化 SQL Plan Management 之 Plan History 结合 https://github.com

2017 年 10 月，国内领先的中立云计算厂商 UCloud 与国内开源分布式 NewSQL 数据库 TiDB 团队 PingCAP 正式达成合作，双方将联手在 UCloud 全球数据中心逐步推出新一代 TiDB 的云端版本——Cloud TiDB。 截至目前，UCloud 已在北京、上海、广州、浙江、香港、台北、高雄、首尔、东京、新加坡、曼谷、洛杉矶、华盛顿、法兰克福、莫斯科全球 15 个地区部署了 21 个云数据中心，可有效覆盖中国大陆、港澳台、日韩、东南亚、北美、欧洲地区用户，为国内及“出海”企业提供优质的云计算服务。随着 Cloud TiDB 上线，UCloud 的数据库产品线得到了进一步丰富，能为广大用户提供更多数据库解决方案，以应对大数据时代的多元业务需求。 作为国内首家开源的新型分布式数据库公司，PingCAP 一直致力于基础架构领域的前沿技术创新实现。其独立研发的分布式数据库产品 TiDB 是一款定位于在线事务处理/在线分析处理（HTAP: Hybrid Transactional/Analytical Processing）的融合型数据库产品，现已被数十家不同行业的领先企业应用在实际生产环境，涉及互联网、游戏、金融、政府、电信、制造业等多个行业，因此多行业场景的技术适配能力使产品与云平台结合后具有了更多可能性。 此次双方联手发布的 Cloud TiDB 是以