kudu

文章目录 环境准备 C++ Client Libraries Ubuntu Centos kudu-python 首次安装 复用安装 使用 总结 本文只讨论如何使用kudu提供的Python相关api，不涉及kudu自身环境的搭建和配置。 环境准备 注意：在安装kudu-python之前需要先确保已经配置好了kudu的C++ Client Libraries，并且不同的操作系统之间的依赖是需要分别配置的，这里只讨论Ubuntu和Centos。 C++ Client Libraries 详情请参考官网： kudu C++ Client Libraries Ubuntu sudo apt-get -y install autoconf automake curl flex g++ gcc gdb git \ krb5-admin-server krb5-kdc krb5-user libkrb5-dev libsasl2-dev libsasl2-modules \ libsasl2-modules-gssapi-mit libssl-dev libtool lsb-release make ntp \ openjdk-8-jdk openssl patch pkg-config python rsync unzip vim-common git clone https:/

预置条件 本文采用clouderaManage安装了kafka、flume、和kudu。注意：在安装kudu的时候一定需要时间同步。具体的时间同步设置方法请参照： https://blog.csdn.net/u014516601/article/details/81433594 。 本文kafka、flume和kudu的版本分别如下： <flume.version>1.6.0</flume.version> <kudu.version>1.7.0</kudu.version> 数据加载的流程 flume没有集成kudu,因此需要第三方jar包，因此依赖kudu-flume-sink-1.7.0-cdh5.16.1.jar，将该jar包放在flume的lib下面。如果基于clouderaManage安装，则可以直接放在/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/flume-ng/lib 编写kudusink类，实现KuduOperationsProductor接口，必须重写：configure、initialize、getOperations和close方法，下面是本文的实例代码： 三 .编辑flume的agent文件 kafka.sources = kafkasource kafka.sinks = kudusink1

目录 Kudu、Hudi和Delta Lake的比较 存储机制 读数据 更新数据 其他 如何选择合适的存储方案 Kudu、Hudi和Delta Lake的比较 kudu、hudi和delta lake是目前比较热门的支持行级别数据增删改查的存储方案，本文对三者之间进行了比较。 存储机制 kudu kudu的存储机制和hudi的写优化方式有些相似。 kudu的最新数据保存在内存，称为MemRowSet（行式存储，基于primary key有序）， 当MemRowSet写满（默认1G或者120s）后flush到磁盘，形成DiskRowSet（列式存储）。 DiskRowSet包含baseData与DeltaStores两部分，DeltaStores包含一个DeltMemStore和多个DeltaFile， 后续的更新数据存放在DeltMemStore中，增长到一定程度后flush成DeltaFile文件。 kudu会定期执行compaction操作，将DeltaFile中的更新合并到DiskRowSet，或者合并DiskRowSet，清除已删除的数据，并减少DiskRowSet的数量。 hudi hudi维护了一个时间轴，记录了在不同时刻对数据集进行的所有操作。 hudi拥有2种存储优化，读优化适合读多写少的场景，写优化适合读少写多的场景。 读优化（Copy On Write）

1.美图 2.概述 kudu表的主键必须在建表语句中列的最前面，并且不为空，例如执行如下语句会报错： CREATE TABLE ` person ` ( ` id ` bigint , ` name ` string , PRIMARY KEY ( id , name ) ) PARTITION BY HASH ( name ) PARTITIONS 16 STORED AS KUDU ; 异常信息： ERROR : ImpalaRuntimeException : Error creating Kudu table 'impala::default.person' CAUSED BY : NonRecoverableException : Got out - of - order key column : name : "name" type : STRING is_key : true is_nullable : false cfile_block_size : 0 原因 https://kudu.apache.org/docs/known_issues.html#_primary_keys https://community.cloudera.com/t5/Interactive-Short-cycle-SQL/Received-ImpalaRuntimeException