等待豆芽

文章
6
资源
1
加入时间
2年10月17天

我的第一个kaggle铜牌经历

参加的这次kaggle比赛是一个关于客户购买预测的机器学习的比赛,最终Public和Private榜综合计算后名次是458/8800,这也是第一个完成度最高的比赛,以往天池的比赛都是跟进几天就不再做了。亲自看着从参加此比赛时的几百个队伍到最终的9000多个队伍,官方清理和结算一些违规和小号之后最终队伍数是8800个,很可惜的是440名以前就可以拿到银牌,但还是差了一些名次,因为是solo也没人一起...

impala理论篇之二:MPP 与 Hadoop是什么关系

MPP 与 Hadoop是什么关系?1. hadoop(hive)跟mpp的本质区别是什么,这个有的时候界限很模糊,比如说存储,如果我把mpp的存储架在hdfs上,那存储模型就没有区别了,所以地下我打算还是用比较传统的认知来作区别。2. hive跟mpp的存储模型不一样,hive用的hdfs,而mpp需要自己做切分,自己做切分就带来动态调整的问题,hdfs的扩展是通过元数据来做的,他有中心节点用来存元数据,在加入新的节点的时候,只需要修改元数据就可以了,所以hdfs的扩展能力是受到管理元数据那台