Structured Streaming笔记

110 阅读 0 评论 73 点赞

我是靠谱客的博主暴躁砖头，这篇文章主要介绍Structured Streaming笔记，现在分享给大家，希望可以做个参考。

Structured Streaming笔记

标准参考文档网站：http://spark.apache.org/docs/2.3.2/structured-streaming-programming-guide.html

2、Structured Streaming 入门

Scoket Source如下

2.1、简单stuctured Streaming模板

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
步骤：
1、 需求梳理
2、 Structured Streaming 代码实现
3、 运⾏
4、 验证结果
需求梳理：
1、编写⼀个流式计算的应⽤, 不断的接收外部系统的消息
2、对消息中的单词进⾏词频统计
3、统计全局的结果
整体结构：
1. Socket Server 等待 Structured Streaming 程序连接(Socket server 使⽤ Netcat nc 来实现)
2. Structured Streaming 程序启动, 连接 Socket Server , 等待 Socket Server 发送数据
3. Socket Server 发送数据, Structured Streaming 程序接收数据
4. Structured Streaming 程序接收到数据后处理数据
5. 数据处理后, ⽣成对应的结果集, 在控制台打印