flume

ⅰ亾dé卋堺 提交于 2019-11-27 05:21:50

flume数据采集

各种各样的数据源--》读数据,缓存数据,写数据--各种各样的目标存储系统

缓存数据:内存,本地磁盘文件

读数据:任何数据都封装成event对象;组件接口(source),根据各种数据源写source实现类

event:head{描述信息},body{数据}

写数据:组件接口(sink),根据目标存储系统写sink实现类

常用实现类已经写好,只用修改实现类的配置文件

flume工作机制:可以启动flume的agent程序进行数据采集,每个agent程序中包含三大组件:source,channel,sink,agent根据需要可以在多台机器上启动

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!