神级回复:“这是我的QQ”
《每日邮报》3月23日消息，加拿大一名野生动物摄影师在南极洲水下遇到一只体型巨大的海豹。该海豹如若张嘴，可将摄影师的相机及脑袋一起吞下。但令摄影师意想不到的是，这只海豹竟友好地送企鹅给摄影师，似乎想与他交朋友。 网友评论：“海豹想说：这是我的QQ” 44岁的保罗·尼克兰（Paul Nicklen）来自加拿大温哥华，是名野生动物摄影师。他根本不知道此次会
粗心果汁
Spark性能优化总结
近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。优化的目标保证大数据量下任务运行成功降低资源消耗提高计算性能三个目标优先级依次递减，首要解决的是程序能够跑通大数据量，资源性能尽量进行优化。基础优化这部分主要对程序进行优化，主要考虑stage、cache、partition等方面。Stage在进
