Flume中常用Source和Channel类型的特点
Source选择NetCat Source一个NetCat Source用来监听一个指定端口,并将接收到的数据的每一行转换为一个事件。TailDir Source:断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置,实现断点续传。Exec Source可以实时搜集数据,但是在Flume不运行或者Shell命令出错的情况下,数据将会丢失。Spooling Directory Source监控目录,支持断点续传。Channel选择Kafka Channel
flink背压处理-结合源码分析基本原理重要代码分析
flink背压处理基本原理重要代码分析基本原理流处理框架需要考虑的一个重要问题是协调上下游算子处理速率的问题。比如A->B的一个处理链,B处理速率变慢时,A需要及时作出响应(减慢发送或停发),否则会耗尽内存导致任务崩溃。那flink是如何处理背压的呢?flink处理反压可以分为两种情况:A、A->B重要代码分析...
算术移位的规则及逻辑移动的规则
算术移位对应有符号位数,逻辑移位对应无符号位数。算术移位规则:在符号位保持不变的情况下,正数(符号位是0):原码,反码,补码,无论左移还是右移,空出来的位添0。负数(符号位是1):原码,无论左移还是右移,空出来的位添0。补码,左移补0,右移添1。反码:无论左移还是右移,空出来的位添1。...