impala

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 Impala采用了比较奇葩的多个impalad同时提供服务的方式，并且它会由catalogd缓存全部元数据，再通过statestored完成每一次的元数据的更新到impalad节点上，Impala集群会缓存全部的元数据，这种缓存机制就导致通过其他手段更新元数据或者数据对于Impala是无感知的，例如通过hive建表，直接拷贝新的数据到HDFS上等，Impala提供了两种机制来实现元数据的更新，分别是INVALIDATE METADATA和REFRESH操作，本文将详细介绍这两个操作。 使用方式 INVALIDATE METADATA是用于刷新全库或者某个表的元数据，包括表的元数据和表内的文件数据，它会首先清楚表的缓存，然后从metastore中重新加载全部数据并缓存，该操作代价比较重，主要用于在hive中修改了表的元数据，需要同步到impalad，例如create table/drop table/alter table add columns等。 INVALIDATE METADATA 语法： REFRESH是用于刷新某个表或者某个分区的数据信息，它会重用之前的表元数据，仅仅执行文件刷新操作，它能够检测到表中分区的增加和减少，主要用于表中元数据未修改，数据的修改，例如INSERT INTO、LOAD

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 介绍 impala可以通过访问数据的统计信息对复杂和多表的查询做更好的优化，impala使用这些信息帮助一个work进行并行和分布式查询。 Impala查询计划器可以使用有关整个表和分区的统计信息。 此信息包括物理特性，例如行数，数据文件数，数据文件的总大小和文件格式。 对于分区表，每个分区计算数字，并计为整个表的总计。 此元数据存储在Metastore数据库中，并且可以由Impala或Hive进行更新。 如果数字不可用，则值-1用作占位符。 一些数字，例如数据文件的数量和总大小，总是保持最新的，因为它们可以被计算得便宜，作为收集HDFS块元数据的一部分。 Table Statistics SHOW TABLE STATS table_name; ps：示例显示了未分区的Parquet表的表统计信息。 文件的数量和大小的值始终可用。 最初，行数是未知的，因为它需要对整个表进行潜在的昂贵扫描，因此该值显示为-1。 COMPUTE STATS语句填充任何未知的表统计信息值。 COMPUTE STATS table_name; 再次查看 当元数据在元数据库数据库中可用时，Impala查询计划器可以使用有关各个列的统计信息。此方法对于在连接查询中跨表比较的列最有价值，以帮助估计查询将从每个表中检索多少行

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Impala 表使用 Parquet 文件 格式 Impala 帮助你创建、管理、和查询 Parquet 表。Parquet 是一种面向列的二进制文件格式，设计目标是为 Impala 最擅长的大规模查询类型提供支持(Parquet is a column-oriented binary file format intended to be highly efficient for the types of large-scale queries that Impala is best at)。Parquet 对于查询扫描表中特定的列特别有效，例如查询一个包含许多列的"宽"表，或执行需要处理列中绝大部分或全部的值的如 SUM(),AVG() 等聚合操作(Parquet is especially good for queries scanning particular columns within a table, for example to query "wide" tables with many columns, or to perform aggregation operations such as SUM() and AVG()that need to process most or all of

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 们已经介绍过在 Hive 中使用 Avro，Parquet 格式来存储数据。今天我们将介绍一下如何在 Impala中使用 Parquet 格式。 1. 跟 Hive 中一样，我们在创建表的时候可以通过 STORED AS PARQUET 语句来指定文件的存储格式。 [sql] view plain copy print ? CREATE TABLE stocks_parquet LIKE stocks STORED AS PARQUET; 2. 我们可以使用 Insert 语句来将一张旧表中的数据拷贝到新的 Parquet 存储格式的表中。 [sql] view plain copy print ? INSERT OVERWRITE TABLE stocks_parquet SELECT * FROM stocks; 3. 检查 Parquet 表的创建： [sql] view plain copy print ? > SHOW TABLE STATS stocks_parquet; Query: show TABLE STATS stocks_parquet +-------+--------+--------+---------+ | #Rows | #Files | Size | Format | +--

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Apache Parquet是Hadoop生态系统中任何项目均可使用的 列式存储 格式，而与选择数据处理框架，数据模型或编程语言无关。 parquet文件的优势 可以跳过不符合条件的数据,只读取需要的数据，降低IO数据量。 压缩编码可以降低磁盘存储空间,由于同一列的数据类型是一样 的，可以使用不同的压缩编码。 只读取需要的列,支持向量运算,能够获取更好的扫描 性能。 Parquet适配多种计算框架,查询引擎(Hive、Impala 、pig 、IBMBigSQL等等); 计算框架（MapReduce、Spark、Kite 、Cascading等等);数据模型（Avro、Thrift、 ProtocolBuffers等） 来源： oschina 链接： https://my.oschina.net/u/4427158/blog/3148945