Hive

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive

//创建数据库 create database interview; //使用表 use interview; //创建表 create table page_views( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string ) row format delimited fields terminated by '\t' ; //加载数据 load data local inpath '/home/hadoop/data/page_views.dat' overwrite into table page_views; //查询数据 select * from page_views limit 10; 查看表在hdfs上的大小(未压缩前) desc formatted page_views; 位置在hdfs://node002/9000/user/hive/warehourse/interview.db/page_views hadoop fs -du -s -h hdfs://node002/9000/user/hive/warehourse/interview.db/page_views;

1.快速入门概述 1.1 Kylin 定义 Apache Kylin 是一个开源的分布式 分析引擎 ，提供 Hadoop/Spark 之上的 SQL 查询接口 及多维分析（OLAP ）能力以支持超大规数据，最初由 eBay Inc 开发并贡献至开源社区。 它能在亚秒内查询巨大的 Hive 表。 1.2 Kylin 特点 Kylin 的主要特点包括支持 SQL 接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI 工具集成等。 1 ） 标准 SQL 接口： Kylin 是以标准的 SQL 作为对外服务的接口。 2 ） 支持超大数据集： Kylin 对于大数据的支撑能力可能是目前所有技术中最为领先的。 早在 2015 年 eBay 的生产环境中就能支百 亿记录的秒级查询，之后在移动的应用场景中又有了千亿记录秒级查询的案例。 3 ） 亚秒级响应： Kylin 拥有优异的查询相应速度，这点得益于 预计算 ，很多复杂的计算，比如连接、聚合，在离线的预计算过程中就已经完成，这大大降低了查询时刻所需的计算量， 提高了响应速度。 4 ） 可伸缩性和高吞吐率： 单节点 Kylin 可实现每秒 70 个查询，还可以搭建 Kylin 的集群。 5 ） BI 工具集成 Kylin 可以与现有的 BI 工具集成，具体包括如下内容。 ODBC ：与 Tableau 、 Excel 、 PowerBI

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive

按照日期统计订单总额/总数量（Kylin方式） （测试资源请见kylin资源包！） 要使用Kylin进行OLAP分析，需要按照以下方式来进行。 1、创建项目（Project） 2、创建数据源（DataSource） 指定有哪些数据需要进行数据分析 3、创建模型（Model） 指定具体要对哪个事实表、那些维度进行数据分析 4、创建立方体（Cube） 指定对哪个数据模型执行数据预处理，生成不同维度的数据 5、执行构建、等待构建完成 6、再执行SQL查询，获取结果 从Cube中查询数据 操作步骤 创建项目（Project） 创建数据源（DataSource） 将Hive中的表都导入到Kylin中 在添加表名中，指定数据库名 itcast_kylin_dw.dim_channel,itcast_kylin_dw.dim_product,itcast_kylin_dw.dim_region,itcast_kylin_dw.dw_sales 或 点击下载按钮进入数据库进行选择！推荐！！！ 创建模型（Model） 1、 指定模型名称 2、 指定事实表 3、 指定维度表 4、 指定待分析的指标 5、 指定分区和过滤条件 创建立方体（Cube） 1、选择数据模型 2、指定维度 3、指定度量 4、指定刷新设置 5、指定执行引擎 执行构建 执行SQL语句分析 来源： oschina 链接： https:

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive

Flink 1.10 与 1.9 相比又是个创新版本，在我们感兴趣的很多方面都有改进，特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性： 一是 SQL DDL 对事件时间的支持； 二是 Hive Metastore 作为 Flink 的元数据存储（即 HiveCatalog）。 这两点将会为我们构建实时数仓提供很大的便利。 添加依赖项 示例采用 Hive 版本为 1.1.0，Kafka 版本为 0.11.0.2。 要使 Flink 与 Hive 集成以使用 HiveCatalog，需要先将以下 JAR 包放在 ${FLINK_HOME}/lib 目录下。 flink-connector-hive_2.11-1.10.0.jar flink-shaded-hadoop-2-uber-2.6.5-8.0.jar hive-metastore-1.1.0.jar hive-exec-1.1.0.jar libfb303-0.9.2.jar 后三个 JAR 包都是 Hive 自带的，可以在 ${HIVE_HOME}/lib 目录下找到。前两个可以通过阿里云 Maven 搜索 GAV 找到并手动下载（groupId 都是org.apache.flink）。 再在 pom.xml 内添加相关的 Maven 依赖。

使用 sqoop 将 hive 数据导入 mysql 后出现乱码： 进入数据库，输入 show variables like 'character%'; 回车 我这里有两种解决办法，如下 方法1：修改数据库配置文件 （1）在下面这个位置添加几行配置 vim /etc/my.cnf init_connect = 'SET collation_connection = utf8_unicode_ci' init_connect = 'SET NAMES utf8' character-set-server = utf8 collation-server = utf8_unicode_ci skip-character-set-client-handshake （2）重启 mysql 服务 systemctl restart mysqld.service（我这里centos7） 或 service mysqld restart（centos6） 再次查看编码： 之后再执行命令的时候在mysql数据库名后面加上 ?useUnicode=true&characterEncoding=utf-8 就可以了。 示例： sqoop export --connect "jdbc:mysql://数据库ip:3306/数据库名称?useUnicode=true&characterEncoding

先看下如何创建数据表 create [external] table if not exists 表名 (列名数据类型 [comment 本列注释],...) [comment 表注释] [partitioned by (列名数据类型 [comment 本列注释],...)] [clustered by(列名,列名,...)] [sorted by (列名 [asc|desc],...)] info num_buckets buckets] [row format row_format][stored as file_format] [location hdfs_path] [tblproperties (property_name=property_value,...)] [as select_statement] 说明： ①external表示创建外部表；hive在创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变 ②partitioned by表示创建分区表 ③clustered by创建分桶表 ④sorted by 不常用 ⑤row format delimited [fields terminated by char] [collection items terminated by char] [map keys

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH的下载 以 CentOS7.5 和 CDH5.7.0 举例： 1.1. cm的tar包下载 下载地址： http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/ 请选择需要的版本。 1.2. parcels包下载 下载地址： http://archive