大数据离线项目处理的总体思路

久未见 提交于 2020-01-17 09:04:19

1

通过mapreduce 计算框架 来对数据进行预处理

2

数据预处理完后 ,把数据上传到linux上 ,通过hive 组件 把预处理的数据加载到 hive的表中

3

如果需要原始表的数据加载到不是textfile 类型的表中时,必须要通过原始表查询出来的结果加载到其他类型的表中,否者数据加载不进去

4

通过数据分析(其实就是写hive的sql 语句查询出来的结果导入到一个文件中 )

5

建立hive与hbase 的映射表 把分析出来的数据加载到hbase中(为什么:hbase 查询数据的速度比hive 快 )

注意:在建立hive 与hbase 的映射表的时候,hbase的字段第一个可以不写,默认是第一个,也可以这样写:key
来代替那个默认的rowkey

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!