Flume实战案例运维篇

匿名 (未验证) 提交于 2019-12-02 23:48:02

              Flume实战案例运维篇

                                           作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

一.Flume概述

1>.什么是Flume

  Flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方。     官方地址:http://flume.apache.org/。

2>.Flume特性

(1)高可靠性     Flume提供了end to end的数据可靠性机制 (2)易于扩展     Agent为分布式架构,可水平扩展 (3)易于恢复     Channel中保存了与数据源有关的事件,用于失败时的恢复 (4)功能丰富     Flume内置了多种组件,包括不同数据源和不同存储方式

3>.Flume常用组件

(1)Source:     数据源,简单的说就是agent获取数据的入口。  (2)Channel:     管道,数据流通和存储的通道。一个source必须至少和一个channel关联。  (3)Sink:     用来接收channel传输的数据并将之传送到指定的地方,成功后从channel中删除。

4>.Flume架构

二.

三.

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!