危机紫菜

文章
3
资源
0
加入时间
3年0月9天

采用Flume-kafka-Flume将数据导入到HDFS中

首先,我们要创建两个conf文件供Flume来使用,分别为flume-kafka.conf和kafka-flume-hdfs.conf,然后我们创建一个kafka的topic,叫做flume,我们通过这个topic来检验flume的数据是否传输给了kafka。下面是示例代码。首先创建flume-kafka.conf# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = spooldir