消费flume的数据无法上传到HDFS

问题：打开hadoop102:9870发现没有出现flume的数据

检查采集flume这部分，在kafka里可以读取到数据，说明是消费flume这部分出错，检查日志信息。

使用消费flume启动停止脚本，可以看到日志信息是在 /opt/module/flume/log2.txt 这个位置的。

#! /bin/bash
case $1 in
"start"){
for i in hadoop104
do
echo " --------启动 $i 消费flume-------"
ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume/log2.txt
2>&1 &"
done
};;
"stop"){
for i in hadoop104
do
echo " --------停止 $i 消费flume-------"
ssh $i "ps -ef | grep kafka-flume-hdfs | grep -v grep |awk '{print $2}' | xargs -n1 kill"
done
};;
esac

打开log2.txt，报错内容是无法使用lzop的压缩方式，参考flume 写入hdfs 采用lzo格式压缩，出现压缩格式支持错误_Always_Best_Sign_X的博客-CSDN博客_flume hdfs 压缩文件

 这篇文章第二步我没找到那个包，直接去 mvnrepository 下载已经编译好的jar包，hadoop-lzo-0.4.20.jar

在第二步里common如果没有那个包，把下载好的放进去，不然影响后续lzop的使用

最后

以上就是可靠招牌为你收集整理的消费flume的数据无法上传到HDFS的全部内容，希望文章能够帮你解决消费flume的数据无法上传到HDFS所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。