概述
Hive 整合Kafka
这个方案很多，随便举几个例子,但是在此之前建议你先阅读优化实战篇—UDAF批量调用外部请求(02) 在这篇文章中我们实现了在UDAF 中实现了多线程。
- Spark/Flink 读Hive 数据写入kafka ，反之也行
- Flume 同步kafka 数据到hive
- 还有一些其他的工具 kafka-connect-hive,camus
基于kafka-connect平台实现的hive数据读取和写入插件，主要由source、sink两部分组成
source部分完成hive表数据的读取任务，kafka-connect将这些数据写入到其他数据存储层中，比如hive到ES数据的流入。
sink部分完成向hive表写数据的任务，kafka-connect将第三方数据源（如MySQL）里的数据读取并写入到hive表中
不过今天我们介绍两种我们我们不需要引入其他组件就可以搞定的方案
UDF 方案
下面是我们的代码，主要是UDAF 进行批量数据发送
package com.changan.voc.udf</最后
以上就是冷傲犀牛为你收集整理的数仓工具—Hive集成篇之Kafka(03)的全部内容，希望文章能够帮你解决数仓工具—Hive集成篇之Kafka(03)所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复