Structured Streaming笔记

98 阅读 0 评论 65 点赞

我是靠谱客的博主暴躁砖头，最近开发中收集的这篇文章主要介绍Structured Streaming笔记，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Structured Streaming笔记

标准参考文档网站：http://spark.apache.org/docs/2.3.2/structured-streaming-programming-guide.html

2、Structured Streaming 入门

Scoket Source如下

2.1、简单stuctured Streaming模板

步骤：
1、 需求梳理
2、 Structured Streaming 代码实现
3、 运⾏
4、 验证结果
需求梳理：
1、编写⼀个流式计算的应⽤, 不断的接收外部系统的消息
2、对消息中的单词进⾏词频统计
3、统计全局的结果
整体结构：
1. Socket Server 等待 Structured Streaming 程序连接(Socket server 使⽤ Netcat nc 来实现)
2. Structured Streaming 程序启动, 连接 Socket Server , 等待 Socket Server 发送数据
3. Socket Server 发送数据, Structured Streaming 程序接收数据
4. Structured Streaming 程序接收到数据后处理数据
5. 数据处理后, ⽣成对应的结果集, 在控制台打印