明亮豌豆

文章
9
资源
0
加入时间
2年10月24天

spark消费protobuf序列化的kafka数据存到hbase

遇见问题寻求解决办法因为不知道是什么原因引起了这个问题,所以就尽可能详尽的把所有东西都贴上了,如果是没用的可以自行跳过。流程是从用spark从kakfa读取数据,将数据存储到hbase里面。数据用protobuf序列化,所以反序列化时用到了protobuf里面的ListValue方法。然后本地运行得时候数据可以存到hbase,但是将程序打成jar包在集群上用standalone模式运行会报错...