害怕睫毛

文章
3
资源
0
加入时间
3年2月3天

Spark 总结项目一---相同数据源不同计算结果?Spark 项目总结

Scala 项目总结项目简介​ 接手项目是省Scala代码,需要转换成适合集团开发环境的代码,但是执行过程中遇到很多问题,以此记录。难点和解决方案一、相同数据源不同计算结果?难点:​ 首先拉了2批测试数据,但是在省环境下使用相同代码没有跑出结果,这也是我整个项目中最难受的地方,环境一样,代码一样为什么跑出来的结果不一样呢?也想着很多地方都没辙去解决这个问题。解决方案:​ 仔细分析了1天时间,发现是数据源的问题,但是就算和省环境对照相同的数据源但还是有少许数据依旧对不上,后来和省环境开发人员(