概述
Spark 项目总结
项目简介
接手项目是省Scala代码，需要转换成适合集团开发环境的代码，但是执行过程中遇到很多问题，以此记录。
难点和解决方案
一、相同数据源不同计算结果？
其实想都不用想，数据源不是用的同一批，这种事情只有我们小白容易入坑。
难点：
首先拉了2批测试数据，但是在省环境下使用相同代码没有跑出结果，这也是我整个项目中最难受的地方，环境一样，代码一样为什么跑出来的结果不一样呢？也想着很多地方都没辙去解决这个问题。
解决方案：
仔细分析了1天时间，发现是数据源的问题，但是就算和省环境对照相同的数据源但还是有少许数据依旧对不上，后来和省环境开发人员(写这套逻辑代码的开发人员)进行沟通，终于可以在数据上进行正确的输出。
总结：
七哥提醒我：相同的代码和环境结果怎么会不一样呢？那肯定是数据源的问题，或者是程序版本不一样，需要和写程序的人去沟通。
沟通的时候不要先将自己现在的需求说出来，要先肯定自己的成果和努力，然后去和上司/客户去沟通自己现在出现的问题，把你需要的资源去依据你的难点去把那些人引出来，然后再进一步交流。
最后
以上就是害怕睫毛为你收集整理的Spark 总结项目一---相同数据源不同计算结果？Spark 项目总结的全部内容，希望文章能够帮你解决Spark 总结项目一---相同数据源不同计算结果？Spark 项目总结所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复