ClickHouse

下载docker clickhouse包 > sudo docker pull yandex/clickhouse-client > sudo docker pull yandex/clickhouse-server 运行clickhouse-server容器 > sudo docker run --network=lnmp_lnmp --ulimit nofile=262144:262144 --volume=$HOME/some_clickhouse_database:/var/lib/clickhouse yandex/clickhouse-server 获取使用docker-compose ---------------------- version: "2" services: clickhouse: image: yandex/clickhouse-server networks: lnmp: ipv4_address: 172.18.0.6 expose: - "9000" - "8123" user: root ports: - "9001:9000" - "8123:8123" volumes: - /home/ctrl/docker/data/clickhouse/conf/:/etc/clickhouse-server/ - /home/ctrl/docker

　　clickhouse是由俄罗斯Yandex公司开发的列式存储数据库，于2016年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库，并且不依赖于hadoop的生态系统，都是独立使用，在大数据存储业务上还是可以考虑的. 　　clickhouse官网地址：https://clickhouse.yandex/，文档地址：https://clickhouse.yandex/docs/en/ 另外推荐单页文档，更方便：https://clickhouse.yandex/docs/en/single 下面开始安装 　　安装依赖项 　　安装过程需要 curl 下载包。 此外，ClickHouse测试包在EPEL中有一些依赖关系，因此 epel-release 必须安装，以防您想要安装ClicKhouse测试包确保 curl 安装在系统上 sudo yum install -y curl ＃如果安装了测试包，添加epel-release sudo yum install -y epel-release　 让我们下载并运行 packagecloud.io 提供的 安装 shell脚本 对于CentOS 6和7 curl -s https://packagecloud.io/install

sudo apt-get install apt-transport-https ca-certificates dirmngr sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4 echo "deb https://repo.clickhouse.tech/deb/stable/ main/" | sudo tee \ /etc/apt/sources.list.d/clickhouse.list sudo apt-get update sudo apt-get install -y clickhouse-server clickhouse-client 修改用户名密码 sudo service clickhouse-server start root@ubuntu:/etc/clickhouse-server# clickhouse-client -h 127.0.0.1 -d default -m -u default --password CREATE TABLE test02( id UInt16,col1 String,col2 String,create_date date ) ENGINE = MergeTree(create_date, (id), 8192); 来源

其实是测试半遂体验。 这阵子对OLAP数据库产生了兴趣，先是简单测试了ClickHouse，性能的确不错，不过它在稳定&可靠性，整体生态&周边配套方面还有待加强，我会持续保持关注。 3月27日，腾讯云推送的文章 TXSQL(TencentDB for MySQL) 8.0特性介绍 中提到即将推出 基于MySQL框架的列存引擎CSTORE ，看了下架构图，和以前红极一时的 infobright 有点神似。 不过现在还没上线，还不能开始内测，只能看看了。 转过身看看阿里云，发现有 分析型数据库MySQL版 （AnalyticDB，简称ADB） 以及 云数据库ClickHouse 可选。 ADB的产品介绍可以看官方文档 什么是分析型数据库MySQL版，我抓取了其中几个关键技术信息： 云端PB级高并发实时数据仓库。 采用关系模型的行列混存技术。 自动索引，智能优化器。 高度兼容MySQL和SQL 2003语法。 可对RDS直接创建一个分析实例，构建ADB，并利用DTS实现数据同步。 看着很牛逼，有木有，那就测测呗。 1. 新建RDS实例和ADB实例 我选择的RDS实例对标之前用于测试ClickHouse的规则 4CPU 16G内存 500G存储 选择ADB实例时，系统会根据RDS中的数据量，只显示符合条件的规格，我这里选择的是 3.0版本、T16型号、存储空间 600G。 2.

24_Packaging 备注：文章编写时间201904-201905期间，后续官方在github的更新没有被写入 ~ ~ 打包[Packaging] 一、如何为ProxySQL支持的所有平台打包proxysql？ [How do I package ProxySQL for all the platforms it supports?] 最简单的方法是转到repo的根文件夹并运行“make packages”。此命令假定您已安装Docker。除了为所有操作系统（centos/debian/ubuntu/fedora/debug build等）创建全套软件包外，还可以为特定操作系统和版本创建单独的软件包-以下平台是可以make的： centos6.7 centos7 centos6.7-dbg centos7-dbg centos5 centos5-dbg ubuntu12 ubuntu14 debian7 debian8 ubuntu14-dbg debian7-dbg debian8-dbg ubuntu16 ubuntu16-dbg fedora24 fedora24-dbg debian9 debian9-dbg ubuntu16-clickhouse debian9-clickhouse centos7-clickhouse fedora24-clickhouse 例如

一、ClickHouse介绍 Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会随着业务的增长走到尽头，查询会变得越来越慢。你可能通过增加更多的内存，订购更快的磁盘等等来解决问题（纵向扩展），但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果，那么ClickHouse也许可以解决你的问题。 应用场景： 1. 绝大多数请求都是用于读访问的 2. 数据需要以大批次（大于1000行）进行更新，而不是单行更新；或者根本没有更新操作 3. 数据只是添加到数据库，没有必要修改 4. 读取数据时，会从数据库中提取出大量的行，但只用到一小部分列 5. 表很“宽”，即表中包含大量的列 6. 查询频率相对较低（通常每台服务器每秒查询数百次或更少） 7. 对于简单查询，允许大约50毫秒的延迟 8. 列的值是比较小的数值和短字符串（例如，每个URL只有60个字节） 9. 在处理单个查询时需要高吞吐量（每台服务器每秒高达数十亿行） 10. 不需要事务 11. 数据一致性要求较低 12. 每次查询中只会查询一个大表。除了一个大表，其余都是小表 13. 查询结果显著小于数据源。即数据有过滤或聚合

一直在慢慢的摸索clickhouse，之前是用rpm包安装的，没有发现clickhouse-local，最近在centos上面编译成功以后发现多了clickhouse-local，那么这个玩意是什么鬼呢？官方的说法： Application clickhouse-local can fast processing of local files that store tables without resorting to deployment and configuration clickhouse-server 原来就是可以直接读取本地的文件进行查询，不用部署clickhouse-server。那么下面进行测试。准备一个测试文本： [root@db_server_yayun_01 ~]# cat a.txt " yy " , " 18 " " bb " , " 20 " [root@db_server_yayun_01 ~]# 直接看命令，后面解释 [root@db_server_yayun_01 ~]# clickhouse-local -N test_table -- file = ' a.txt ' --input-format=CSV -S " user String, age Int32 " -q " SELECT * from test_table FORMAT

1. 安装 https://clickhouse.tech/#quick-start centos: sudo yum install yum-utils sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64 sudo yum install clickhouse-server clickhouse-client sudo /etc/init.d/clickhouse-server start clickhouse-client 如果在线安装很慢时，可以先下载得到rpm包，在安装： 启动： sudo /etc/init.d/clickhouse-server start 2. 目录配置 Server config files are located in /etc/clickhouse-server/ . Before going further, please notice the <path> element in config.xml . Path determines the location for data storage, so