超级香水

文章
7
资源
0
加入时间
3年0月21天

在Spark结构化流readStream、writeStream 输入输出,及过程ETL

本文翻译自DataBricks官方博客,主要描述了Apache Spark 2.0中推出的新功能Structured Streaming(结构化流处理)从Kafka中读取消息,实时处理后再写入不同的下游系统的使用示例。结构化流处理API使得以一种兼具一致性和容错性的方法开发被称为连续应用的端到端流处理应用成为可能。它让开发者不用再去深究流处理本身的细节,而且允许开发者使用类似Spark