我是靠谱客的博主 执着小松鼠,最近开发中收集的这篇文章主要介绍【Flink伪分布式环境搭建及应用,Standlong(开发测试)】一、 架构图二、环境准备三、下载安装包四、 服务器规划五、 安装步骤六、flink初体验(使用),觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

????博主介绍
????‍???? 博主主页:喵的主页
✨主攻领域:【大数据】【java】【python】【面试分析】

Flink伪分布式,开发测试

  • 一、 架构图
  • 二、环境准备
  • 三、下载安装包
  • 四、 服务器规划
  • 五、 安装步骤
    • 1.创建统一工作目录
    • 2. 下载 flink 安装包
    • 3. 上传Flink压缩包到指定目录
    • 4. 解压缩flink到 /export/server 目录
    • 5. 改名或创建软链接:方便后期升级
  • 六、flink初体验(使用)
    • 1. 启动Flink
    • 2. 通过jps查看进程信息
    • 3. 访问web界面
    • 4. 官网提供案例的位置
    • 5. 运行官方案例
    • 6. 在浏览器查看job详情
    • 7. 查看job日志信息


一、 架构图

在这里插入图片描述

    1. Flink程序需要提交程序给 JobClient
    1. JobClient 将作业提交给 JobMananger
    1. JobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManager
    1. TaskManager 启动一个线程开始执行. TaskManager会向JobManager报告状态更改. 例如开始执行, 正在进行或已完成.
    1. 作业完成后, 结果将发送回客户端. (JobClient)

Standlong 模式Flink的各个角色都是独立进程.

二、环境准备

  • jdk1.8 及以上 [配置 JAVA_HOME环境变量]
  • SSH免密码登录 [集群内节点之间免密码登录]

三、下载安装包

https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz

四、 服务器规划

角色MasterSlave
服务器node1node1

五、 安装步骤

1.创建统一工作目录

mkdir -p /export/server   # 软件安装路径
mkdir -p /export/software # 数据存储路径
mkdir -p /export/data     #  安装包存放路径

2. 下载 flink 安装包

https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz

3. 上传Flink压缩包到指定目录

/export/software

4. 解压缩flink到 /export/server 目录

cd /export/software/
tar -zxf flink-1.14.0-bin-scala_2.12.tgz  -C /export/server/
cd /export/server/
ll | grep flink

5. 改名或创建软链接:方便后期升级

ln -s /export/server/flink-1.14.0/ /export/server/flink
cd /export/server/ && ll | grep flink

六、flink初体验(使用)

1. 启动Flink

cd /export/server/flink
./bin/start-cluster.sh

2. 通过jps查看进程信息

在这里插入图片描述

3. 访问web界面

http://node1:8081

在这里插入图片描述

4. 官网提供案例的位置

ll /export/server/flink/examples/

5. 运行官方案例

cd /export/server/flink
bin/flink run examples/batch/WordCount.jar

6. 在浏览器查看job详情

在这里插入图片描述
点击 job, 就可以查看详情
在这里插入图片描述

7. 查看job日志信息

ll /export/server/flink/log
**** client****.log是客户端日志
**** standalonesession****.log是主节点日志
**** taskexecutor****.log是从节点日志

1.3.6.2.13.关闭flink

cd /export/server/flink
bin/stop-cluster.sh
jps

最后

以上就是执着小松鼠为你收集整理的【Flink伪分布式环境搭建及应用,Standlong(开发测试)】一、 架构图二、环境准备三、下载安装包四、 服务器规划五、 安装步骤六、flink初体验(使用)的全部内容,希望文章能够帮你解决【Flink伪分布式环境搭建及应用,Standlong(开发测试)】一、 架构图二、环境准备三、下载安装包四、 服务器规划五、 安装步骤六、flink初体验(使用)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(71)

评论列表共有 0 条评论

立即
投稿
返回
顶部