概述
Flume安装步骤
- 一、准备工作
- 二、安装步骤
- (一)解压
- (二)配置驱动
- (三)环境变量配置
- (四)拷贝 jar
- (五)测试数据
前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。
flume-ng-1.6.0-cdh5.14.2.tar.gz 下载链接 | 提取码:33u0 |
---|
一、准备工作
-
安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)
-
启动一台虚拟机,并连接至Xshell、Xftp(连接方法)
-
安装、搭建好JDK、MySQL、Hadoop,并做好免密登录
-
建议在虚拟机里单独创建两个文件夹(download、software),用来存放安装包和软件
-
需要将 flume-ng-1.6.0-cdh5.14.2.tar.gz 文件,上传至 download 目录。或者在shell窗口内,输入命令:
yum install lrzsz
,待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内 -
建议在 software 目录下新建一个子目录 hadoop ,用来存放 hadoop 生态圈的相关软件
二、安装步骤
(一)解压
1.输入命令:cd /opt/download
、ls
,查看是否存在 flume-ng-1.6.0-cdh5.14.2.tar.gz 这个文件。
2.输入命令:tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C/opt/software/hadoop
,将文件解压到 software 下的 hadoop 文件夹里。
3.解压完毕后,输入命令:cd /opt/software/hadoop/
,进入到 software 下的 hadoop 目录里,输入命令:ls
,查看该目录下是否存在 flume-ng-1.6.0-cdh5.14.2.tar.gz 这个文件。
4. 输入命令:mv flume-ng-1.6.0-cdh5.14.2.tar.gz/ flume160
,将解压后的文件重命名为 flume160 。
(二)配置驱动
1.输入命令:cd /opt/software/hadoop/flume160
。
2.输入命令:cd conf
、cp flume-env.sh.template flume-env.sh
。
3.输入命令:vi flume-env.sh
,黄框内容修改为下方代码,配置完保存退出。
export JAVA_HOME=/opt/software/jdk180
4.输入命令:flume-ng version
,检查版本。
(三)环境变量配置
输入命令:vi /etc/profile
,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile
,重新载入配置文件。
#FLUME
export FLUME_HOME=/opt/software/hadoop/flume160
export PATH=$FLUME_HOME/bin:$PATH
(四)拷贝 jar
(五)测试数据
1.输入命令:mkdir example
,在 flume 文件夹下新建测试文件夹。
2.输入命令:cp conf/flume-conf.properties.template example/net.conf
,拷贝文件。
3.编辑 net.conf 文件。
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel that buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
4.运行 FlumeAgent ,监听本机的 44444 端口。如果没有 telnet 工具需要先进行安装,命令:yum install telnet
。
flume-ng agent -c conf -f example/netcat.conf -n a1 -Dflume.root.logger=INFO,console
最后
以上就是生动玉米为你收集整理的[ 安装 ] Flume安装步骤!一、准备工作二、安装步骤的全部内容,希望文章能够帮你解决[ 安装 ] Flume安装步骤!一、准备工作二、安装步骤所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复