phoenix

I created a HBase table using the Phoenix JDBC Driver in the following code snippet: Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); Connection conn = DriverManager.getConnection("jdbc:phoenix:serverurl:/hbase-unsecure"); System.out.println("got connection"); conn.createStatement().execute("CREATE TABLE IF NOT EXISTS phoenixtest (id BIGINT not null primary key, test VARCHAR)"); int inserted = conn.createStatement().executeUpdate("UPSERT INTO phoenixtest VALUES (5, '13%')"); conn.commit(); System.out.println("Inserted or updated " + inserted + " rows"); ResultSet rst = conn

1 简介Introduction Apache Phoenix is a relational database layer over HBase delivered as a client-embedded JDBC driver targeting low latency queries over HBase data. Apache Phoenix takes your SQL versioned, such that snapshot queries over prior versions will automatically use the correct performance on the order of milliseconds for small queries, or seconds for tens of millions of rows. Apache Phoenix是构建在HBase之上的关系型数据库层，作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。Apache Phoenix会将用户编写的sql查询编译为一系列的scan操作，最终产生通用的JDBC结果集返回给客户端。数据表的元数据存储在HBase的表中被会标记版本号，所以进行查询的时候会自动选择正确的schema。直接使用HBase的API，结合协处理器（coprocessor

内容概述 1.安装及配置Phoenix 2.Phoenix的基本操作 3.使用Phoenix bulkload数据到HBase 4.使用Phoenix从HBase中导出数据到HDFS 测试环境 1.CDH5.11.2 2.RedHat7.2 3.Phoenix4.7.0 前置条件 1.CDH集群正常 2.HBase服务已经安装并正常运行 3.测试csv数据已准备 4.Redhat7中的httpd服务已安装并使用正常 2.在CDH集群中安装Phoenix 1.到Cloudera官网下载Phoenix的Parcel，注意选择与操作系统匹配的版本，因为本次测试使用的是Redhat7，所以选择后缀名为el7的文件。下载地址为： http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ 具体需要下载的三个文件地址为： http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4

Fayson 发表于 Hadoop实操 订阅 607 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.导读 Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目，版本为4.7.0，并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式，下载地址为： http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/ Fayson这两天亲测了一下，CDH5.12.1也能勉强一用，想知道具体该怎样安装和使用，欢迎关注本公众号明天的文章。 Cloudera Labs说白了就是有群人在“实验室”会研究或者玩玩一些有趣的比如其他Apache的项目，虽然会偶尔打包一些项目，但是官方是不Support的。另外Cloudera Labs也不会保证从旧的Phoenix版本升级到4.7的兼容性。 2.概述 ApachePhoenix是Apache HBase上一个高效的SQL引擎，也挺火的。很多公司都在使用它，比如Salesforce，它开源了这个项目，并将该项目贡献到社区。现在也已经是顶级项目了。 ClouderaLabs在2015-05-06宣布打包Phoenix并集成到CDH平台，本文主要为了描述这几个问题：Phoenix可以做什么？为什么大家想要使用它

1.HDFS上数据准备 2019-03-24 09:21:57.347,869454021315519,8,1 2019-03-24 22:07:15.513,867789020387791,8,1 2019-03-24 21:43:34.81,357008082359524,8,1 2019-03-24 16:05:32.227,860201045831206,8,1 2019-03-24 18:11:18.167,866676040163198,8,1 2019-03-24 22:01:24.877,868897026713230,8,1 2019-03-24 12:34:23.377,863119033590062,8,1 2019-03-24 20:16:32.53,862505041870010,8,1 2019-03-24 09:10:55.18,864765037658468,8,1 2019-03-24 16:18:41.503,869609023903469,8,1 2019-03-24 10:44:52.027,869982033593376,8,1 2019-03-24 20:00:08.007,866798025149107,8,1 2019-03-24 10:25:18.1,863291034398181,2,3 2019-03-24 10:33:48

spark 读取Phoenix hbase table表到 DataFrame的方式 Demo1: 方式一：spark read读取各数据库的通用方式 方式二：spark.load 方式三：phoenixTableAsDataFrame（需要指定列名,留空就可以不指定列名） 方式四：phoenixTableAsRDD （需要指定列名,留空就可以不指定列名） Demo2： 方式一： 方式二： Demo3： Demo4:(点个赞) 4.1在phoenix中建表 4.2启动spark-shelll 4.3使用DataSource API，load为DataFrame 4.3使用Configuration类，load为DataFrame 4.4使用Zookeeper URL ，load为RDD 4.5通过Spark向Phoenix中写入数据（RDD方式） 4.6通过Spark向Phoenix中写入数据（DataFrame方式） Maven依赖： <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-spark</artifactId> <version>${phoenix.version}</version> <scope>provided</scope> </dependency> Demo1:

Phoenix踩坑填坑记录 Phoenix建表语句 如何添加二级索引 判断某表是否存在 判断索引是否存在 Date类型日期，条件判断 杂项 记录Phoenix开发过程中的填坑记录。 部分原文地址:phoenix 常见问题与总结 Phoenix建表语句 CREATE TABLE IF NOT EXISTS BUS_INFO_GPS_DATA(busno VARCHAR(10) not null,gpsTime VARCHAR(20) not null,linename VARCHAR(30),upordown VARCHAR(2),weidu VARCHAR(20),jingdu VARCHAR(20),CONSTRAINT PK_BUS_INFO_GPS_DATA PRIMARY KEY (busno,gpsTime)) ; 如果在PRIMARY KEY (busno,gpsTime))主键当中，调换busno和gpsTime的顺序，则Phoenix建表会报错，需调整至字段顺序一致才可。 若PRIMARY KEY (busno,gpsTime))，则其他的字段属性如果设置了not null属性，会报错。 如何添加二级索引 1） 不加排序：Create INDEX 索引名 ON 表名（列名A，列表B***） 2） 加排序：Create INDEX 索引名 ON 表名（列名A DESC

1.表象 java.util.concurrent.TimeoutException at java.util.concurrent.FutureTask.get(FutureTask.java:205) at net.sourceforge.squirrel_sql.client.mainframe.action.OpenConnectionCommand.awaitConnection(OpenConnectionCommand.java:113) at net.sourceforge.squirrel_sql.client.mainframe.action.OpenConnectionCommand.lambda$execute$1(OpenConnectionCommand.java:97) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent

一、Phoenix简介 Phoenix 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。 Phoenix 的理念是 we put sql SQL back in NOSQL ，即你可以使用标准的 SQL 就能完成对 HBase 上数据的操作。同时这也意味着你可以通过集成 Spring Data JPA 或 Mybatis 等常用的持久层框架来操作 HBase。 其次 Phoenix 的性能表现也非常优异， Phoenix 查询引擎会将 SQL 查询转换为一个或多个 HBase Scan，通过并行执行来生成标准的 JDBC 结果集。它通过直接使用 HBase API 以及协处理器和自定义过滤器，可以为小型数据查询提供毫秒级的性能，为千万行数据的查询提供秒级的性能。同时 Phoenix 还拥有二级索引等 HBase 不具备的特性，因为以上的优点，所以 Phoenix 成为了 HBase 最优秀的 SQL 中间层。 二、Phoenix安装 我们可以按照官方安装说明进行安装，官方说明如下： download and expand our installation tar