我是靠谱客的博主 生动玉米,最近开发中收集的这篇文章主要介绍[ 安装 ] Flume安装步骤!一、准备工作二、安装步骤,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

Flume安装步骤

  • 一、准备工作
  • 二、安装步骤
    • (一)解压
    • (二)配置驱动
    • (三)环境变量配置
    • (四)拷贝 jar
    • (五)测试数据



  前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。



flume-ng-1.6.0-cdh5.14.2.tar.gz 下载链接提取码:33u0

一、准备工作

  • 安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)

  • 启动一台虚拟机,并连接至Xshell、Xftp(连接方法)

  • 安装、搭建好JDK、MySQL、Hadoop,并做好免密登录

  • 建议在虚拟机里单独创建两个文件夹(downloadsoftware),用来存放安装包和软件

  • 需要将 flume-ng-1.6.0-cdh5.14.2.tar.gz 文件,上传至 download 目录。或者在shell窗口内,输入命令:yum install lrzsz,待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内

  • 建议在 software 目录下新建一个子目录 hadoop ,用来存放 hadoop 生态圈的相关软件

二、安装步骤

(一)解压

  1.输入命令:cd /opt/downloadls,查看是否存在 flume-ng-1.6.0-cdh5.14.2.tar.gz 这个文件。

在这里插入图片描述

  2.输入命令:tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C/opt/software/hadoop,将文件解压到 software 下的 hadoop 文件夹里。

在这里插入图片描述

  3.解压完毕后,输入命令:cd /opt/software/hadoop/,进入到 software 下的 hadoop 目录里,输入命令:ls,查看该目录下是否存在 flume-ng-1.6.0-cdh5.14.2.tar.gz 这个文件。

在这里插入图片描述

  4. 输入命令:mv flume-ng-1.6.0-cdh5.14.2.tar.gz/ flume160,将解压后的文件重命名为 flume160

在这里插入图片描述


(二)配置驱动

  1.输入命令:cd /opt/software/hadoop/flume160

  2.输入命令:cd confcp flume-env.sh.template flume-env.sh

在这里插入图片描述
  3.输入命令:vi flume-env.sh,黄框内容修改为下方代码,配置完保存退出。

export JAVA_HOME=/opt/software/jdk180

在这里插入图片描述
  4.输入命令:flume-ng version,检查版本。

在这里插入图片描述

(三)环境变量配置

  输入命令:vi /etc/profile,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile,重新载入配置文件。

#FLUME
export FLUME_HOME=/opt/software/hadoop/flume160
export PATH=$FLUME_HOME/bin:$PATH

在这里插入图片描述

(四)拷贝 jar

在这里插入图片描述

(五)测试数据

  1.输入命令:mkdir example,在 flume 文件夹下新建测试文件夹。

  2.输入命令:cp conf/flume-conf.properties.template example/net.conf,拷贝文件。

在这里插入图片描述
  3.编辑 net.conf 文件。

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel that buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  4.运行 FlumeAgent ,监听本机的 44444 端口。如果没有 telnet 工具需要先进行安装,命令:yum install telnet

flume-ng agent -c conf -f example/netcat.conf -n a1 -Dflume.root.logger=INFO,console

最后

以上就是生动玉米为你收集整理的[ 安装 ] Flume安装步骤!一、准备工作二、安装步骤的全部内容,希望文章能够帮你解决[ 安装 ] Flume安装步骤!一、准备工作二、安装步骤所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(46)

评论列表共有 0 条评论

立即
投稿
返回
顶部