天池大数据周冠军分享｜附移动推荐算法赛答辩会Top5选手PPT

上周是淘宝穿衣搭配算法大赛开始评测后的第一周，周冠军是来自浙江大学的"FUC AUTH"队。他们在夺得本周冠军之后，还将自己的获胜经验分享给了大家，究竟有什么秘诀呢？

 

 

阿里巴巴天池大数据竞赛在浙大师兄们的口碑中一直很不错，它真正意义上地为我们提供了海量数据源和大数据处理平台，尤其是大数据处理平台是在高校实验室中很难提供。对于以后走向大数据方向的研究人员而言也很具备科研价值，大数据比赛确实也锻炼大数据挖掘算法和程序优化，让我们受益匪浅。

 

由于我们团队也差不多都是新手，能取得这样的成绩，确实激励我们，让我们更有信心面对将来的挑战。在高兴的同时我们也深刻地意识到到目前比赛刚开始，许多大牛还未真刀真枪开始干，我们现在取得的成绩也不可骄傲。

 

而在比赛期间，我们确实遇到过很多困难：

 

 

1程序运行时间过长

 

 

程序运行时间过长，尤其是本文挖掘部分，由于我们采用的比较词向量TF/IDF的相似度的方法，然而词向量维度太高，计算量大。如果采用常规方法计算需要整整1天多，为了解决计算速度问题，我们采用能预先计算的结果预先缓存到内存字典中，线下用python实现类似基于内存迭代的多进程Map/Reduce方案，开出16进程进行计算，将时间缩短到1.5小时左右。

 

 

2评价想法的可行性

 

 

想法很多，如何评价想法的可行性，我们将套餐数据分开为训练数据和测试数据，并生成测试数据的标准答案，在线下搭建一个线下评价系统。经过第一天的提交结果反馈，我们发现我们的线下评价系统是合理且有效的，线上领先线下0.2%。评价系统能评价出我们的想法的好坏。比赛就是不断验证想法，提出去好的想法并分析其中的原因，并加以改变。

 

 

3关于调参问题

 

 

关于调参问题，之前一直是手工调参，发现效率太低，人工干预麻烦。我们就采用暴力调参法，先粗条后细调，或者直接采用爬山法以及模拟退火法，甚至我们也开发出一套随机蒙特卡洛方法。发现蒙特卡洛的方法效率最低，参数维度较少优先选择暴力法，参数维度较多选用爬山法或者模拟退火法。

 

 

4团队协作

 

 

最后关于团队协作问题，由于大家习惯的编程语言不同，有C/C++、matlab、python等，为了更好的协作需要有人能翻译其他人的编程语言实现统一版本的语言，比如python，版本统一能很多好处，集体参数调优。相对而言我觉得python非常适合作为编程工具，抛开其运行效率问题不说，是一种很好的交互式语言，相对于C/C++而言，可以分步执行，随时查看结果，与matlab类似。但是matlab有没有类似python的强大数据结构，字典和列表，还有python机器学习支持很强大，编程非常方便，代码简洁。

 

 

5给大家的建议

 

 

结合上述的困难，我主要给其他选手的建议：

 

1. 不断优化代码，能预先计算的可重复使用的数据尽量预先计算好，多用类似hash字典的数据结构缓存变量数据，运行效率提升很大一部分都是在于数据的查询

 

2. 想法可以很多，都需要建立有效的线下评价系统对其进行验证

 

3. 模型之前的重要程度可以简单设置参数体现，并通过程序调参选择出最佳参数，每次迭代过程要往评价好的方向走

 

4. 尽量不要重造机器学习算法，一般来说各大语言算法都有写好的计算学习版本，比如python的sklearn，里面就封装好本次要使用的TF/IDF模型。

 

文/天池大数据科研平台

 

---

移动推荐算法赛答辩会Top5选手PPT截图

（下载方式见底部）