Flume数据采集至HDFS的排雷日记写在前面一、Flume-agent配置二、连续报错排雷三、hdfs日志生成

80 阅读 0 评论 53 点赞

我是靠谱客的博主积极羊，最近开发中收集的这篇文章主要介绍Flume数据采集至HDFS的排雷日记写在前面一、Flume-agent配置二、连续报错排雷三、hdfs日志生成，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

文章目录

写在前面
一、Flume-agent配置
二、连续报错排雷
- org/apache/hadoop/io/SequenceFile$CompressionType
- org/apache/commons/configuration/Configuration
- org/apache/hadoop/util/PlatformName
- org/apache/htrace/core/Tracer$Builder
- No FileSystem for scheme: hdfs
- java.nio.charset.MalformedInputException
- java.lang.OutOfMemoryError: GC overhead limit exceeded
三、hdfs日志生成

写在前面

本篇文章对于想了解Flume采集数据至HDFS的过程中有哪些需要注意的小伙伴有一定的帮助，这里为了模拟真实环境，临时搭建一台虚拟机，将数据存入TOMCAT中后，我们将数据从当前虚拟机传输至另外一台虚拟机的HDFS上。

环境所涉及版本：

apache-tomcat-8.5.63
flume-ng-1.6.0-cdh5.14.2
hadoop-2.6.0-cdh5.14.2

一、Flume-agent配置

话不多说，直接上agent代码,简单的解释下每行的意义：
（如果还不够清楚，见官网手册）

# 定义source,channel,和sink的名字
a1.channels = c1
a1.sources = s1
a1.sinks = k1

#设置source为Spooling Directory Source(专门对文件提取的一种source)
a1.sources.s1.type = spooldir
a1.sources.s1.channels = c1
#s设置提取文件目录位置
a1.sources.s1.spoolDir = /opt/software/tomcat8563/webapps/mycurd/log
#设置输入字符编码（Flume默认是UTF-8的，这里我的日志字符类型为GBK）
a1.sources.s1.inputCharset = GBK

#设置channel为File Channel
a1.channels.c1.type = file
#设置检查点目录
a1.channels.c1.checkpointDir = /opt/flume/checkpoint
#设置数据目录
a1.channels.c1.dataDirs = /opt/flume/data

#设置sink为HDFS Sink
a1.sinks.k1.type = hdfs
#设置HDFS目录路径（后面加了转义序列）
a1.sinks.k1.hdfs.path = hdfs://192.168.237.130:9000/upload/%Y%m%d
#设置文件的开头
a1.sinks.k1.hdfs.filePrefix = upload-
#设置使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#设置刷写至HDFS的事件数
a1.sinks.k1.hdfs.batchSize = 100
#设置文件流类型
a1.sinks.k1.hdfs.fileType = DataStream
#设置滚动至下一个文件等待的秒数
a1.sinks.k1.hdfs.rollInterval = 600
#设置滚动至下一个文件时当前文件的最大文件大小（单位字节）
a1.sinks.k1.hdfs.rollSize = 134217700
#设置截断文件的事件数（设置为0就不因为event数量截断文件）
a1.sinks.k1.hdfs.rollCount = 0
#设置hdfs存放副本数
a1.sinks.k1.hdfs.minBlockReplicas = 1
#设置通道
a1.sinks.k1.channel = c1

TIPS:channel的checkpointDir和dataDirs目录需要提前在虚拟机上创建好！

二、连续报错排雷

上面配置完后，，博主和大家一样迫不及待的启动agent试了起来：

flume-ng agent --name a1 --conf /opt/software/flume160/conf/ -f /opt/flumeconf/file-hdfs.conf -Dflume.root.logger=DEBUG,console

然后一盆冷水接一盆冷水的浇来，我们来看看有哪些冷水打扰了我们的兴致：