TiDB

某厂面试归来，发现自己落伍了！>>> TiDB 挑战赛第二季之 易用性挑战赛 已经开始一周了，由于有参加过上一季 性能挑战赛 的老玩家强势加入，这一季挑战赛的竞争格外激烈，短短一周的时间，已有 3 支队伍获得了上千积分！ 完整积分排行榜可以登陆 活动官网 查看。 战况简介： BABAIsWatchingYou Team 通过 改进 Rust-Prometheus 中 Thread Local Metrics 的易用性 获得 2530 分。 niedhui Team 通过 为 TiDB-Dashboard 增加 TLS 支持 获得 1680 分。 hawking&chacha Team 通过 为 RocksDB WAL 写延迟增加监控 获得了 1300 分。 .* Team 通过 使用单独的日志文件存储 TiKV 慢查询日志 获得了 950 分。 羡慕不如行动！我们也在这里简单分享一些捞分技巧，希望能够帮助大家快速上手，追上这些排名靠前的参赛选手们。 捞分技巧 1：用户投票结果中排名前三的需求有高额加分！ 为鼓励大家选择用户呼声更高的任务，本次挑战赛中用户投票排名前三的需求对应的任务，会在原有积分的基础上分别额外增加 10000、8000、6000 分。比如这个排名第三的需求： record access statistics of databases, tables and

由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL ( SQL 、 NoSQL 和 NewSQL 的优缺点比较 )数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。下面是对有关资料的整理还有一些扩展内容以链接的方式展示，有兴趣可以点击了解一下。 一、TiDb简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP(Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。TiDB 具备如下核心特点： 1. 高度兼容 MySQL 大多数情况下

从 2015 年 5 月写下第一行代码，TiDB 作为一款新型开源分布式数据库项目，走过了 0 到 1 的 蜕变之日 ；走过了存储层 TiKV 项目晋级为 CNCF Incubating Projects 的 光辉时刻 ；周边工具逐步完善， 羽翼渐丰 ；逐渐走向 成熟稳健 ，在近 1000 家用户的生产环境中不断打磨升级。 这一切荣誉和成就都属于社区—— TiDB Repo Contributor 突破 400, Thanks for your contributions! 近一年 TiDB 开源社区架构和治理规则也在不断规范和升级迭代中： 社区自治组织和角色： 目前为止，社区启动过 20 个 Working Group (WG) ， 成立了 5 个 Special Interest Group（SIG） ，它们都有了丰富的阶段性产出； 除了已有的 Maintainer、Committer、Contributor 角色之外， 新增了 Reviewer、Active Contributor 角色，让大家找到了“一步步升级打怪”的乐趣。 社区活动愈加丰富： 除了传统的 Infra Meetup 、 TiDB TechDay 、 TiDB DevCon 线下交流活动，颇具 Geek 精神的 TiDB Hackathon 已成功举办两届，诞生了很多奇思妙想的项目； TiDB

最近大家可能发现了，TiDB 4.0 发布在即，在 Master 分支上可以看到社区也是一片热火朝天的景象。于是我也在想，对于这个有里程碑意义的 TiDB 版本，我们还能做点什么呢？ 其实我一直以来就有个遗憾，这两年 TiDB 的社区日益壮大，也已经有无数的用户也已经将 TiDB 使用了起来，但是市面上一直没有一本关于 TiDB 的技术书籍。这背后其实也有很多原因，例如产品的迭代速度比较快，另外很多时候通过在线文档和社区答疑，问题也就解决了。所以，虽然牵头写书这件事情一直在我的 TODO List 里面，也经常有出版社的朋友和我来约稿，但是总被更加紧急的事情抢占。 不过，我前几天有了一个「疯狂」的念头，想要约一波 TiDB 社区伙伴，48 小时之内写完这本关于 TiDB 的技术书籍。 就在本周末，欢迎大家报名参加！ Why？ TiDB 经过这几年的发展，也积累下来了大量的 Blog，文档以及无数的用户积累的最佳实践，但是文档和博客总是有些过于碎片，对于一个社区的想学习和使用 TiDB 的新人来说，如果能有一本入门书籍，系统且简要地介绍一下整个 TiDB 和周边工具生态，另外能手把手地指导用户“把 TiDB 用起来且用好”，那就太好了。很多时候，作为应用开发者和 DBA 也并不希望在使用 TiDB 之前先去读一堆零散的文档和源码阅读文章。 这就是写这本书的初衷。 Why Now？

1、安装docker. (01_centos 安装docker) https://docs.docker.com/install/linux/docker-ce/centos/ 2、下载并安装 tidb-docker-compose https://github.com/pingcap/tidb-docker-compose 可能存在问题：（版本的问题） 1、tidb-docker-compose. clone 碰到错误 git clone https : / / github . com / pingcap / tidb - docker - compose . git 正克隆到 'tidb-docker-compose' . . . fatal : unable to access 'https://github.com/pingcap/tidb-docker-compose.git/' : Peer reports incompatible or unsupported protocol version . https://blog.csdn.net/aaaaaab_/article/details/82025741 3、 https://docs.docker.com/compose/install/ dockersudo curl - L "https://github

这个问题出现呢，是因为用户权限问题。解决方法有2个： 切换为root用户执行命令。 sudo docker-compose up -d 将当前用户加入到docker组。 sudo gpasswd -a ${USER} docker 然后切换成root用户，再切换为当前用户，再次执行 docker-compose up -d ，就没有问题了。 ➜ /usr/local/tidb-docker-compose git:(master) sudo gpasswd -a penelope docker 正在将用户“penelope”加入到“docker”组中 ➜ /usr/local/tidb-docker-compose git:(master) su - 密码： root@wjj-PC:~# su - penelope ➜ /home/penelope cd /usr/local/tidb-docker-compose ➜ /usr/local/tidb-docker-compose git:(master) docker-compose up -d Creating network "tidb-docker-compose_default" with the default driver Creating tidb-docker-compose_prometheus_1

如果要问“分布式系统有哪些经典学习资料”，MIT 6.824（即 MIT 分布式系统课程） 一定位居榜首，这门课程已经有 20 年历史，日前公布了 2020 年春季课表，与往年不同的是，除了传统的文字介绍，官方还放出了高清课程视频。网友：终于有了非偷拍的高清视频看了:) 课程地址： https://pdos.csail.mit.edu/6.824/schedule.html 课程视频官方地址： https://www.youtube.com/channel/UC_7WrbZTCODu1o_kfUMq88g 激动之余，问题来了： 除了 MIT 6.824， 还有哪些资料可以更加深入学习分布式系统， 哪些项目可以练手？ 请查收一份超全的分布式数据库资料集 作为 开源分布式数据库 TiDB 的研发团队，我们一直希望带领更多小伙伴进入分布式系统、数据库领域，探索更多奇妙的事儿，也总结了一些从“入门到高阶玩家”更优的学习路径。 下面我们就将这些资料，一次性打包给大家。 插播科普 TiDB 源码：github.com/pingcap/tidb TiKV 源码：github.com/tikv/tikv 注：TiKV 是 TiDB 的存储层，现已成为 CNCF 的孵化项目） 1. PingCAP Talent Plan PingCAP Talent Plan 是一项进阶学习计划，内容涵盖：语言学习

作者介绍： 康文权，马上消费金融总账高级研发工程师。 李银龙，原腾讯云运维工程师，马上消费金融容器云 TiDB 负责人，西南区 TUG Leader。 背景介绍 马上消费金融于 2015 年 6 月营业，截止到 2020 年 1 月，历经 4 年多风雨，总注册用户数 8000 万，活跃用户数 2500 万，累计放贷 2900 多亿元人民币。公司于 2018 年 6 月增资到 40 亿，成为内资第一大的消费金融公司。 在业务爆发式增长的 4 年多里，马上消费金融的数据库经历了从单表数十 GB 到数百 GB 的过程，单表的数据量正在往 TB 级别演进。基于数据量的升级变迁，我们的数据库也经历了 2 次架构迭代，并在探索 第三代数据库架构： 第一代数据库架构 ——核心系统以 Oracle 为主，MySQL 为辅的时代。 第一代数据库架构 ——核心系统以 Oracle 为主，MySQL 为辅的时代。 第三代数据库架构 ——核心系统以 MySQL 结合 NewSQL 为主，NewSQL、MySQL、NoSQL 并存的时代。 马上金融第二代数据库架构痛点 海量数据 OLTP 场景需求痛点 截止目前账务系统的核心表累计数据量已达到单表 15 亿行以上，还在高速增长中。监管要求金融行业历史数据至少保留 5 年以上。这给数据库系统带来了巨大挑战： 海量的历史交易与账务数据堆积在 MySQL 数据库中

前言 2020 年的春节注定是一个不平凡的春节，全国都在抗击新型冠状病毒肺炎。除了不出门，勤洗手，戴口罩之类的常规操作，我们就在想，在这个大背景下，我们还能够做哪些事情？考虑到春节假期临近结束，返程的旅途中可能会加大传染的概率，延长隔离时间、远程在家办公也许是普通群众能给国家在这场战役中做的最大贡献。然而在我们国家，暂且不论别的行业， 至少我们所在的高科技行业还没有普及远程办公的文化，所以我们在此将 PingCAP 实践了近五年的工程师远程办公经验介绍给大家。本文将尽量少描述理念，而更多的从实践方面讲述我们的落地经验，以期在这样的一个特殊的时刻帮助更多的朋友和公司尽快行动起来，为国家为社会贡献一份我们微薄的力量。 我们已经通过实践证明，在这个时代，至少对于类似软件工程这样的主要以脑力和创意为主的工作，已经有足够的方法论和基础设施，让远程工作的效率不比传统模式差，有时候甚至能有更好的产出（相信已经有同学想起了早上拥挤的交通对心情和思维的副作用）。下面我们聊聊一些具体落地的经验。 01 远程办公的管理哲学 远程办公在国外并不是一件新鲜的事情。在硅谷，尤其是新一代的科技公司几乎都有远程工作的基因，这背后有很多原因在这篇文章中就不展开了，如果感兴趣的朋友可以看看来自 37 Signals 的 David Heinemeier Hansson 的《Remote》一书。 对于我们来说

作者：黄东旭，PingCAP 联合创始人兼 CTO 位于 M87 中心的特大质量黑洞示意图（© EHT Collaboration） 今天的文章我想从这张模糊的照片说起。 相信很多小伙伴对这张照片并不陌生，这是去年人类第一次拍摄的 M87 中心黑洞的照片，从1915年，爱因斯坦提出相对论预言黑洞的存在到 2019 年我们终于第一次「看到」了黑洞的样子，中间整整相隔了 100 多年，这对于人类认识黑洞乃至认识宇宙都是一个里程碑式的事件。人类是一个感性的动物，所谓「一图胜千言」很多时候一张图传达的信息超过千言万语。 关于黑洞我不想展开太多，今天我们聊聊「望远镜」。 前几天，在 TiDB 4.0 的开发分支中，我们引入了一个新功能叫做：Key Visualizer（下面简称 KeyViz），说起来这个小工具也并不复杂，就是用不同颜色的方框来显示整个数据库的不同位置数据访问频度和流量。一开始我们只是仅仅将它定位为一个给 DBA 用来解决数据库热点问题的调优辅助小工具，但是从昨晚开始我就一直在把玩这个小东西，突然觉得它对于分布式数据库来说背后的意义远不及此。 在 CNCF 对 Cloud Native 的定义中，有一条叫做「Observability」，通用的翻译叫系统的「可观测性」。过去我一直苦于寻找一个例子说明什么叫做一个「可观测」的系统，在 KeyViz 这个项目上