ClickHouse

1. 安装 https://clickhouse.tech/#quick-start centos: sudo yum install yum-utils sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64 sudo yum install clickhouse-server clickhouse-client sudo /etc/init.d/clickhouse-server start clickhouse-client 如果在线安装很慢时，可以先下载得到rpm包，在安装： 启动： sudo /etc/init.d/clickhouse-server start 2. 目录配置 Server config files are located in /etc/clickhouse-server/ . Before going further, please notice the <path> element in config.xml . Path determines the location for data storage, so

Docker 中分布式部署 clickhouse 启动服务 docker run --add-host=ck2:172.17.0.3 --add-host=ck3:172.17.0.4 -d --name ck1 -h ck1 --ip 172.17.0.2 --ulimit nofile=262144:262144 -p 8124:8123 -p 9001:9000 yandex/clickhouse-server docker run --add-host=ck1:172.17.0.2 --add-host=ck3:172.17.0.4 -d --name ck2 -h ck2 --ip 172.17.0.3 --ulimit nofile=262144:262144 -p 8125:8123 -p 9002:9000 yandex/clickhouse-server docker run --add-host=ck1:172.17.0.2 --add-host=ck2:172.17.0.3 -d --name ck3 -h ck3 --ip 172.17.0.4 --ulimit nofile=262144:262144 -p 8126:8123 -p 9003:9000 yandex/clickhouse-server 参数说明 add-host: 增加除自己之外的

3 月，跳不动了？>>> clicHouse介绍 Yandex在2016年6月15日开源了一个数据分析的数据库，名字叫做ClickHouse，这对保守俄罗斯人来说是个特大事。更让人惊讶的是，这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件，例如Vertica。如果你没有听过Vertica，那你一定听过 Michael Stonebraker，2014年图灵奖的获得者，PostgreSQL和Ingres发明者（Sybase和SQL Server都是继承 Ingres而来的）, Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司，后来该公司被HP收购，HP Vertica成为MPP列式存储商业数据库的高性能代表，Facebook就购买了Vertica数据用于用户行为分析。 ClickHouse的特点: 开源的列存储数据库管理系统，支持线性扩展，简单方便，高可靠性， 容错跑分快：比Vertica快5倍，比Hive快279倍，比MySQL快800倍,其可处理的数据级别已达到10亿级别 功能多：支持数据统计分析各种场景，支持类SQL查询，异地复制部署 clickHouse的性能: 低延迟：对于数据量（几千行，列不是很多）不是很大的短查询，如果数据已经被载入缓存，且使用主码，延迟在50MS左右。 并发量：虽然

今天介绍一个来自俄罗斯的凶猛彪悍的分析数据库：ClickHouse，它是今年6月开源，俄语社区为主，好酒不怕巷子深。 本文内容较长，分为三个部分：走马观花，死而后生，遥指杏花村；第一章，走马观花，初步了解一下基本特性；第二章，死而后生，介绍ClickHouse的技术架构演化的今生前世；第三章，遥指杏花村，介绍一些参考资料，包括一些俄文资料。 第一章，走马观花 俄罗斯的‘百度’叫做Yandex，覆盖了俄语搜索超过68%的市场，有俄语的地方就有Yandex；有中文的地方，就有百度么？好像不一定 :) 。 Yandex在2016年6月15日开源了一个数据分析的数据库，名字叫做ClickHouse，这对保守俄罗斯人来说是个特大事。更让人惊讶的是，这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件，例如Vertica。如果你没有听过Vertica，那你一定听过 Michael Stonebraker，2014年图灵奖的获得者，PostgreSQL和Ingres发明者（Sybase和SQL Server都是继承 Ingres而来的）, Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司，后来该公司被HP收购，HP Vertica成为MPP列式存储商业数据库的高性能代表

45亿数据迁移记录后续-日数据量千万级别到clickhouse 相关文档地址 flume 参考地址 waterdrop 参考地址 clickhouse 参考地址 kafka 参考地址 环境 日志在一个服务器，clickhouse集群在另一个服务器。 思路 之前迁移数据的时候，没考虑这块，等数据整个迁移完了以后，才开始考虑，做准备的。 思路1 ： flume 读取 日志文件，然后使用flume 的avro模式传递日志(这里使用avro传递日志，是因为，日志服务器没有hadoop 环境，而且也是为了保持日志服务器的稳定)，将读取到的日志落在hdfs,写入的规则，按照天进行分割，一天一个数据文件。然后使用waterdrop 动态传递参数日期，写一个linux 的crontab 任务，每天调用一次，每次传递昨天的日期，拉取昨天的数据，从hdfs 到 clickhouse。 整个方案是可行的，初步测试，已经走通，但是与我们的场景不符合，因为我这边的数据，相对而言，都是实时数据，不允许出现一天的这么长时间的间隔。 思路2 ： 扔掉flume,使用waterdrop直接读取日志，清洗处理，然后直接到clickhous。关于waterdrop处理日志，之前博客，可翻阅进行参考。 这个方案是错误的，因为我之前并没有正确了解waterdrop，waterdrop并不支持实时数据处理，所有针对日志文件

45亿数据迁移记录 背景 数据库数据量日益增加，逐渐开始显得很是臃肿，日常查询统计的时候，仅仅是count(1) 查询下总数，耗费的时间也在500s左右，而且之前的orcle数据库，前期建立的时候，也未考虑太多，未进行索引，分表，等优化。后面鉴于种种考虑，以及后期的规划，准备将数据迁移至clickhouse(oracle -> clickhouse)。 clickhouse 相关背景 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 相关介绍 迁移相关考虑 数据库现有数据45亿 每天还有新数据持续入库-数据量 3000万/天 资源 服务器资源 CPU 16C；内存 48G；硬盘 500G磁盘左右，总共3台 准备 开始查看相关的数据迁移工具 datax 阿里推出的一个，但是相对而言，社区不是很活跃。 相关链接 waterdrop 社区活跃，作者很用心。再次感谢在使用过程中给与我的帮助 相关链接 过程-时间-思考 选择方式，与迁移工具 首先，选择截断数据日期，进行之前的数据迁移。 最开始看的datax 的相关，这里说下datax的clickhouse官方还没提供指定的插件，所有无法直接到达clickhouse。 尝试 oracle -> datax -> mysql -> clickhouse 使用 clickhouse 的insert into