基于Spark Streaming 的流数据处理和分析一.流介绍二.Spark Streaming三.Dstream四.Spark Streaming编程实例五.Spark Streaming优化策略
一.流介绍1.流是什么数据流数据的流入数据的处理数据的流出随处可见的数据流电商网站、日志服务器、社交网络和交通监控产生的大量实时数据流处理是一种允许用户在接收到的数据后的短时间内快速查询连续数据流和检测条件的技术2.为什么需要流处理它能够更快地提供洞察力,通常在毫秒到秒之间大部分数据的产生过程都是一个永无止境的事件流要进行批处理,需要存储它,在某个时间停止数据收集,并处理数据流处理适合时间序列数据和检测模式随时间推移3.流处理应用场景股市监控交通监控计算