冷傲犀牛

文章
5
资源
0
加入时间
2年10月20天

数仓工具—Hive集成篇之Kafka(03)

这个方案很多,随便举几个例子,但是在此之前建议你先阅读优化实战篇—UDAF批量调用外部请求(02) 在这篇文章中我们实现了在UDAF 中实现了多线程。不过今天我们介绍两种我们我们不需要引入其他组件就可以搞定的方案下面是我们的代码,主要是UDAF 进行批量数据发送下面是我们的使用,这样我们就记录下了每一批数据的发送情况这里需要处理的就是我们如何保证每个批次的大小,其实这个很简单,可以参考我们以前的文章,这里需要注意的是,我们一个批次不应该太大,如果太大重试成本就很高了。要实现KafkaStorag