su hdfs 使用hdfs安装防止创建hdfs目录权限问题
tar -zxvf apache-kylin-3.1.0-bin-hadoop3.tar.gz
hive添加自定义参数 hive-site新增自定义参数
<property>
<name>hive.security.authorization.sqlstd.confwhitelist</name>
<value>mapred.*|hive.*| mapreduce.*|spark.*</value>
</property>
<property>
<name>hive.security.authorization.sqlstd.confwhitelist.append</name>
<value>mapred.*| hive.*|mapreduce.*|spark.*</value>
</property>
./check-env.sh 检查环境
./kylin.sh start 启动脚本
./kylin.sh stop 停止脚本
1.执行./sample.sh 错误
erro
Cannot modify dfs.replication at runtime
解决方法
https://www.jianshu.com/p/ef383f6b91cc
修改conf/kylin_hive_conf.xml
注释掉dfs.replication这个属性,还有mapreduce.job.split.metainfo.maxsize这个属性也注释掉
2.kylin Cannot modify mapreduce.job.name at runtime
hive添加自定义参数 hive-site新增自定义参数
<property>
<name>hive.security.authorization.sqlstd.confwhitelist</name>
<value>mapred.*|hive.*| mapreduce.*|spark.*</value>
</property>
<property>
<name>hive.security.authorization.sqlstd.confwhitelist.append</name>
<value>mapred.*| hive.*|mapreduce.*|spark.*</value>
</property>
原文链接:https://blog.csdn.net/zhouyuanlinli/article/details/102952151
3 流式调用kafka中的数据
第一步
https://blog.csdn.net/qq_28356739/article/details/89534665 需要修改页面
第二步
vim sample-streaming.sh文件修改
hdp使用连接kafka使用6667端口 ${dir}/kylin.sh org.apache.kylin.source.kafka.util.KafkaSampleProducer --topic kylin_streaming_topic --broker ambari1:6667
手动安装kafka端口为9092
测试kafka是否正常方法:
创建topic
sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
启动生产者命令行模式:
sh kafka-console-producer.sh --broker-list 192.168.1.134:6667 --topic test
启动消费者命令行模式:
sh kafka-console-consumer.sh --bootstrap-server 192.168.1.134:6667 --topic test --from-beginning
第三步
报错信息:
org.apache.kafka.clients.consumer.ConsumerConfig.configNames()Ljava/util/Set
1 复制到本地 hadoop fs -copyToLocal /hdp/apps/3.1.0.0-78/mapreduce/mapreduce.tar.gz .
2 解压缩 tar zxf mapreduce.tar.gz
3删掉kafka包 rm hadoop/share/hadoop/tools/lib/kafka-clients-0.8.2.1.jar
4添加新kafka包cp /usr/hdp/3.1.0.0-78/kafka/libs/kafka-clients-2.0.0.3.1.0.0-78.jar hadoop/share/hadoop/tools/lib/
5重新打包 tar zcf mapreduce.tar.gz hadoop/
6 删除源包 hadoop fs -rm /hdp/apps/3.1.0.0-78/mapreduce/mapreduce.tar.gz
7上传新包hadoop fs -copyFromLocal mapreduce.tar.gz /hdp/apps/3.1.0.0-78/mapreduce
参考文章:https://www.mail-archive.com/dev@kylin.apache.org/msg11024.html
使用说明不错的文章:
https://blog.csdn.net/SDKLHKJAS/article/details/99728114
https://www.jianshu.com/p/da784cf5220e
来源:oschina
链接:https://my.oschina.net/u/937111/blog/4415692