flume

Increase Flume MaxHeap

阅读更多关于 Increase Flume MaxHeap

问题 Good Afternoon, I'm having trouble increasing the Heap Size for Flume. As a result, I get: Exception in thread "main" java.lang.OutOfMemoryError: Java heap space I've increased the heap defined in "flume-env.sh" as well as Hadoop/Yarn. No luck. One thing to notice, on starting flume, the Exec (processbuilder?) seems to be defining heap as 20Mb. Any ideas on how to override it? Info: Including Hadoop libraries found via (/usr/local/hadoop/bin/hadoop) for HDFS access Info: Including Hive

Getting java.lang.OutOfMemoryError: Java heap space while running twitter connector using flume

阅读更多关于 Getting java.lang.OutOfMemoryError: Java heap space while running twitter connector using flume

问题 I am starting the agent using this command bin/flume-ng agent --conf ./conf/ -f conf/twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent My error messages are Exception in thread "Twitter Stream consumer-1[Receiving stream]" java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3332) at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124) at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:596) at java

Getting java.lang.OutOfMemoryError: Java heap space while running twitter connector using flume

阅读更多关于 Getting java.lang.OutOfMemoryError: Java heap space while running twitter connector using flume

Understanding Kafka poll(), flush() & commit()

阅读更多关于 Understanding Kafka poll(), flush() & commit()

问题 I’m new to Kafka and trying out few small usecase for my new application. The use case is basically, Kafka-producer —> Kafka-Consumer—> flume-Kafka source—>flume-hdfs-sink. When Consuming(step2), below is the sequence of steps.. 1. consumer.Poll(1.0) 1.a. Produce to multiple topics (multiple flume agents are listening) 1.b. Produce. Poll() 2. Flush() every 25 msgs 3. Commit() every msgs (asynchCommit=false) Question 1: Is this sequence of action right!?! Question2: Will this cause any data

#Note# Analyzing Twitter Data with Apache Hadoo...

阅读更多关于 #Note# Analyzing Twitter Data with Apache Hadoo...

#Note# Analyzing Twitter Data with Apache Hadoop 系列 1、2、3 Andy erpingwu@gmail.com 2013/09/28-2013/09/30 markdown的语法高亮格式在oschina的blog上有问题，在git.oschina.net上没有问题 http://git.oschina.net/wuerping/notes/blob/master/2013/2013-09-30/AnalyzingTwitterDatawithApacheHadoop.md Analyzing Twitter Data with Apache Hadoop by Jon Natkins September 19, 2012 http://blog.cloudera.com/blog/2012/09/analyzing-twitter-data-with-hadoop/ 这是这个系列的第一篇，讲的是如何用 Apache Flume , Apache HDFS , Apache Oozie , 和 Apache Hive 去设计一个能够分析 Twitter数据的，端到端的数据 pipeline。相关代码在 Cloudera Github . Who is Influential? Now we know the question we

阅读更多关于 flume

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。IBM 的这篇文章：《 Flume NG：Flume 发展史上的第一次革命》，从基本组件以及用户体验的角度阐述 Flume OG 到 Flume NG 发生的革命性变化。本文就不再赘述各种细枝末节了，不过这里还是简要提下 Flume NG （1.x.x）的主要变化： sources和sinks 使用channels 进行链接两个主要channel 。1， in-memory channel 非持久性支持

Flume HDFS sink: Remove timestamp from filename

阅读更多关于 Flume HDFS sink: Remove timestamp from filename

问题 I have configured flume agent for my application, where source is Spooldir and sink is HDFS I am able to collect files in hdfs. agent configuration is: agent.sources = src-1 agent.channels = c1 agent.sinks = k1 agent.sources.src-1.type = spooldir agent.sources.src-1.channels = c1 agent.sources.src-1.spoolDir = /home/Documents/id/ agent.sources.src-1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder agent.sources.src-1.fileHeader=true agent.channels.c1.type = file

flume+kafka+zookeeper 日志收集平台的搭建

阅读更多关于 flume+kafka+zookeeper 日志收集平台的搭建

首先说明下我的目的是什么，我的目的是单纯的收集nginx的日志以及各种应用程序的日志 nginx 日志预留的位置 flume 和 kafka这个大小的作用是什么我就不再说了，大家去自己搜下一。环境 AWS Red Hat Enterprise Linux Server release 7.1 (Maipo) 二。需要的应用包 apache-flume-1.6.0-bin.tar.gz kafka_2.10-0.8.1.1.tgz jdk-7u67-linux-x64.tar.gz KafkaOffsetMonitor-assembly-0.2.0.jar kafka-manager-1.2.3.zip zookeeper-3.4.7.tar.gz 三。搭建先看看我们host的配置 192.168.1.10 zoo1 zoo2 zoo3 kafka_1 kafka_2 kafka_3 ls /opt/tools/ apache-tomcat-7.0.65 flume jdk1.7.0_67 kafka nginx redis-3.0.5 zookeeper 1.安装zookeeper zookeeper 的配置比较简单。部署3个zookeeper 配置文件举例 ls zoo1 zoo2 zoo3 zkui 最后这个是zookeeper的WEB管理 cat master

kafka常用操作

阅读更多关于 kafka常用操作

kafka运维常用查询操作总结以下几点： kafka生产和消费消息测试发送：bin/kafka-console-producer.sh --broker-list 10.46.200.165:9092 --topic contentApprove 接收：bin/kafka-console-consumer.sh --bootstrap-server 10.46.200.165:9092 --topic contentApprove --from-beginning 创建topic命令参考 .bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions 6 --replication-factor 2 --topic test ### --partition：创建分区数，一般可以是服务器数量的双倍 ### --replication-factor：副本数默认为1，表示没有副本。保证冗余必须最少2 kafka修改副本数 bin/kafka-reassign-partitions.sh --zookeeper 10.124.77.41:2181 --reassignment-json-file test.json –execute 将分区数3修改为9 bin/kafka-topics.sh -

flume参数解析+启动参数解析

阅读更多关于 flume参数解析+启动参数解析

flume参数： #example.conf：单节点Flume配置＃命名此代理上的组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 ＃描述/配置源 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 ＃描述接收器 a1.sinks.k1.type = logger ＃使用缓冲内存中事件的通道 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 ＃将源和接收器绑定到通道 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 此配置定义名为a1的单个代理。 a1有一个侦听端口44444上的数据的源，一个缓冲内存中事件数据的通道，以及一个将事件数据记录到控制台的接收器。根据scource、channel、sink划分 1、Sources 　　Flume中常用的Source有NetCat，Avro，Exec，Spooling Directory，Taildir，也可以根据业务场景的需要自定义Source,具体介绍如下。

订阅 flume