kylin 安装相关

亡梦爱人 提交于 2020-08-13 05:45:58

su hdfs 使用hdfs安装防止创建hdfs目录权限问题

tar -zxvf apache-kylin-3.1.0-bin-hadoop3.tar.gz
hive添加自定义参数 hive-site新增自定义参数 
<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist</name>
 <value>mapred.*|hive.*| mapreduce.*|spark.*</value> 
</property>  

<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist.append</name>
 <value>mapred.*| hive.*|mapreduce.*|spark.*</value> 
</property> 

./check-env.sh 检查环境
./kylin.sh start 启动脚本
./kylin.sh stop 停止脚本


1.执行./sample.sh 错误
erro 
 Cannot modify dfs.replication at runtime

解决方法
https://www.jianshu.com/p/ef383f6b91cc
修改conf/kylin_hive_conf.xml
注释掉dfs.replication这个属性,还有mapreduce.job.split.metainfo.maxsize这个属性也注释掉

2.kylin  Cannot modify mapreduce.job.name at runtime 
hive添加自定义参数 hive-site新增自定义参数 
<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist</name>
 <value>mapred.*|hive.*| mapreduce.*|spark.*</value> 
</property>  

<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist.append</name>
 <value>mapred.*| hive.*|mapreduce.*|spark.*</value> 
</property> 

原文链接:https://blog.csdn.net/zhouyuanlinli/article/details/102952151

3 流式调用kafka中的数据

第一步

https://blog.csdn.net/qq_28356739/article/details/89534665  需要修改页面

第二步

vim sample-streaming.sh文件修改

hdp使用连接kafka使用6667端口 ${dir}/kylin.sh org.apache.kylin.source.kafka.util.KafkaSampleProducer --topic kylin_streaming_topic --broker ambari1:6667

手动安装kafka端口为9092

测试kafka是否正常方法:

创建topic

sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动生产者命令行模式:

sh kafka-console-producer.sh --broker-list 192.168.1.134:6667 --topic test

启动消费者命令行模式:

sh kafka-console-consumer.sh --bootstrap-server 192.168.1.134:6667 --topic test --from-beginning

第三步

报错信息:

 org.apache.kafka.clients.consumer.ConsumerConfig.configNames()Ljava/util/Set

1 复制到本地 hadoop fs -copyToLocal /hdp/apps/3.1.0.0-78/mapreduce/mapreduce.tar.gz .

2 解压缩 tar zxf mapreduce.tar.gz 

3删掉kafka包 rm hadoop/share/hadoop/tools/lib/kafka-clients-0.8.2.1.jar

4添加新kafka包cp /usr/hdp/3.1.0.0-78/kafka/libs/kafka-clients-2.0.0.3.1.0.0-78.jar hadoop/share/hadoop/tools/lib/

5重新打包 tar zcf mapreduce.tar.gz hadoop/

6 删除源包 hadoop fs -rm /hdp/apps/3.1.0.0-78/mapreduce/mapreduce.tar.gz

7上传新包hadoop fs -copyFromLocal mapreduce.tar.gz /hdp/apps/3.1.0.0-78/mapreduce

参考文章:https://www.mail-archive.com/dev@kylin.apache.org/msg11024.html

使用说明不错的文章:

https://blog.csdn.net/SDKLHKJAS/article/details/99728114

https://www.jianshu.com/p/da784cf5220e

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!