魁梧棉花糖

文章
2
资源
0
加入时间
2年10月24天

国产时序数据库TDengines学习调研及总结

如果无法快速定位出异常原因,会造成更多的异常 glass,严重影响生产。当时的技术栈用的是CDH,首先通过kafka采集的数据, spark对接kafka进行初步计算去噪并汇总到hadoop里面,以parquet的格式保存,有需要进一步的加工,通过impala进行一步的加工,每天挂起N个任务,不停的调度计算。TDengine不需要对数据进行修改,所以不需要考虑数据一致性的问题,数据是以有序的规律并追加的形式写进去的,因为只有读和写,所以也不需要锁保护,抛掉一些无用的包袱,可以集中优化其它地方,例