自动机器学习工具全景图：精选27种框架，解放炼丹师

构建一个典型的机器学习项目，一般分成以下步骤：

收集原始数据、合并数据源、清洗数据、特征工程、模型构建、超参数调优、模型验证和设备部署。

整个过程中，模型构建最能体现创造力，而最耗时的，要数特征工程和超参数调优。

于是，有时候会因为赶时间，过早将模型从实验阶段转移到生产阶段，导致它们发挥不出最佳效果；也有时候，会因为花了太多时间调优导致部署延迟。

这时候，就体现出了自动机器学习（Automatic machine learning, AML）框架的价值。

自动机器学习框架能帮助数据科学家减轻负担，降低特征工程和超参数调优的工作量，让他们能花更多时间来尝试模型架构。快速验证可能的方案不仅能让数据科学家很快地评估目标数据集，也能提供基准性能用以改进。

本文尽可能全面地介绍现有的自动机器学习框架，也附上了对应的代码地址。

综述

我们对现有的自动机器学习开源框架展开了充分调研，它们一般作用于机器学习的单个或多个步骤。

自动机器学习框架能够处理项目中一部分步骤，包括模型构建、特征工程和超参数优化。因此，我们分析了一些成熟框架，它们宣称能优化其中某些任务组合。

我们挑选出一些能够容易应用到企业数据科学团队的函数库。在介绍每个框架时，我们都给出了它的建库目标、使用的统计方法和将其与新项目或现有项目整合时要考虑的主要因素。

局部解决方案

现有的自动机器学习框架中，有些只解决了数据科学流程的单个步骤。虽然它们不提供端到端的解决方案，但是这些库侧重于使用先进方法来解决特定问题或是在带有独特约束的特定环境下操作，因此仍值得考虑。

特征工程

1. Featuretools

https://github.com/Featuretools/featuretools
1347星，139 Forks，119 Commits
最新版本为0.1.21，2018.5.30更新

Featuretools是一个自动特征工程的工具，它可以根据一组相关的表来自动构造特征。这个开源库是一个面向企业客户的商用前端服务的子集。

Featuretools使用了一种叫做深度特征合成（Deep Feature Synthesis, DFS）的算法，这个算法能遍历通过关系数据库中模式描述的关系路径。当DFS遍历这些路径时，它通过数据操作（包括求和、取平均值和计数）生成合成特征。

例如，它可以把求和操作应用到给定客户端ID的事务列表，将它们聚合成一列。虽然这只是一个简单的单次操作，但这个算法可以遍历到更深层的特征。

这个库的优势，在于其可靠性和在处理时间序列数据时处理信息泄露的能力。

2. Boruta-py

https://github.com/scikit-learn-contrib/boruta_py
318星，82 Forks，62 Commits
最新版本为0.1.5，2017.3.5更新

Boruta-py是Brouta特征降维策略的一种实现，以“全相关”方式来解决问题。

这种算法能保留对模型有显著贡献的所有特征，这与很多特征降维方法使用的“最小最优特征集”思路相反。

Boruta方法先对目标特征进行随机重新排序并组成合成特征，然后在原始特征集上训练简单的决策树分类器，再在特征集中把目标特征替换成合成特征，用这三个步骤来确定特征重要性。

其中，不同特征对应的性能差异可用于计算它们的相对重要性。

3. Categorical-encoding

https://github.com/scikit-learn-contrib/categorical-encoding
494星，115Forks，171 Commits
最新版本1.2.6，2018.1.22更新

这个库扩展了许多分类编码方法，可作为Scikit-learn中数据转换器的接口。

它还实现了常见的分类编码方法，如one-hot编码和hash编码，以及很多niche编码方法（包括base n编码和target编码）。

该函数库常用来处理实际问题中的分类变量，如可能带高变量基数的问题。它还能直接与pandas数据帧共用、计算缺失值和处理可能在训练集之外的变换值。

4. Tsfresh

https://github.com/blue-yonder/tsfresh
2781星， 340 Forks ，243 Commits
最新版本0.11.0，2017.10.14更新

这个库专注于时间序列数据的特征生成，它由一个德国零售分析公司支持，是他们数据分析流程中的一步。

它能提取出一系列用于描述时间序列趋势的形态特征，这些特征中包括一些简单特征（如方差）和复杂特征（近似熵）。

这个库能从数据中提取趋势特征，让机器学习算法更容易地解释时间序列数据集。它使用假设检验来获取大量生成特征集，并将其减少到少量最具解释性的趋势特征。

Tsfresh还与pandas和sklearn兼容，可嵌入到现有的数据科学流程中。Tsfresh库的优势在于其可扩展的数据处理实现，这部分已经在具有大量时间序列数据的生产系统中进行了测试。

5. Trane

https://github.com/HDI-Project/Trane
4星， 1 Fork， 245 Commits
最新版本0.1.0，2018.2.2更新

这个库是麻省理工学院HDI项目的产品。

Trane库可用来处理存储在关系数据库中的时间序列数据，和表示时间序列问题。它能列举出关于数据集的元信息，数据科学家能从数据库中的时间序列数据中提取这些特征来构建有监督问题。

这个过程存储在JSON文件中，数据科学家能改写这个文件来描述列和数据类型。该框架通过处理这个文件来生成可能的预测问题，这些问题能用于修改数据集。

这个项目对feature-tools库很有帮助，可用来以半自动方式生成额外特征。

6. FeatureHub

https://github.com/HDI-Project/FeatureHub
32星，5 Forks ，249 Commits
最新版本0.3.0，2018.5.9更新

这个项目也是麻省理工学院HDI实验室的，它建立在JupyterHub（支持多用户的 Jupyter Notebook服务器）上，让数据科学家在特征工程开发过程中能协作。

这个系统能自动对生成特征评分，以确定当前模型的总体价值。这种以众包方式进行特征工程和机器学习的方法，在测试时也取得了很好效果。

7. NNI
NNI（神经网络智能）是一个帮助用户运行自动机器学习实验的工具包。该工具调度并运行通过调整算法生成的试验作业，以在不同环境（例如，本地、远程服务器和云）中搜索最佳神经架构和 / 或超参数。

NNI 集成了 AutoML 算法，是一个支持不同操作系统，既可以在本地也能在云端运行的轻量级工具包。它特别适合有一定人工智能基础的科研人员更加有针对性、精准地选取模型。 微软为此制定了全新的语言，使得定义和描述搜索空间只需几行代码，所有的底层通信等复杂问题都被封装起来，对使用者完全透明。NNI着重解决了一系列支持AutoML的系统问题，以开放的方式有效加速 AutoML 算法研究者在这一领域的创新。
开源地址：https://github.com/Microsoft/nni
入门指南：https://github.com/Microsoft/nni/blob/master/docs/GetStarted.md

超参数优化

1. Skopt

https://scikit-optimize.github.io/
880星，340 Forks ，173 Commits
最新版本0.5.2，2018.3.25更新

Skopt是一个超参数优化库，包括随机搜索、贝叶斯搜索、决策森林和梯度提升树。

这个库包含一些理论成熟且可靠的优化方法，但是这些模型在小型搜索空间和良好的初始估计下效果最好。

2. Hyperopt

https://github.com/hyperopt/hyperopt-sklearn
2161星，473 Forks，939 Commits
最新版本0.1，2016.11.20更新

Hyperopt是一个超参数优化库，针对具有一定条件或约束的搜索空间进行调优，其中包括随机搜索和Tree Parzen Estimators（贝叶斯优化的变体）等算法。

它使用MongoDb作为存储超参数组合结果的中心结构，可实现多台电脑的并行计算。

这个库是用hyperopt-sklearn和hyperas实现的，这两个用于模型选择和优化的函数库分别建立在scikit-learn和keras的基础上。

3. Simple(x)

https://github.com/chrisstroemel/Simple，362星， 22 Forks，4 Commits
需手动安装

Simple(x)是一个优化库，可作为贝叶斯优化的替代方法。

Simple(x)和贝叶斯搜索一样，试图以尽可能少的样本进行优化，但也将计算复杂度从n³降低到log(n)，这对大型搜索空间非常有用。

这个库使用单形（n维三角形），而不是超立方体（n维立方体），来模拟搜索空间，这样做可以避开贝叶斯优化中具有高计算成本的高斯过程。

4. Ray.tune

https://github.com/ray-project/ray/tree/master/python/ray/tune
3435星，462 Forks，1,707 Commits
最新版本0.4.0，2018.3.27更新

Ray.tune是一个超参数优化库，主要适用于深度学习和强化学习模型。它结合了许多先进算法，如Hyperband算法（最低限度地训练模型来确定超参数的影响）、基于群体的训练算法（Population Based Training，在共享超参数下同时训练和优化一系列网络）、Hyperopt方法和中值停止规则（如果模型性能低于中等性能则停止训练）。

这些都运行在Ray分布式计算平台上，这让它具有很强的扩展性。

5. Chocolate

https://github.com/AIworx-Labs/chocolate
26星，26 Forks，196 Commits
需手动安装

Chocolate是一个分布式超参数优化库（支持计算机集群的并行运算且无需中央主机），它使用通用数据库来联合执行各个任务。

它还支持网格搜索、随机搜索、准随机搜索、贝叶斯搜索和自适应协方差矩阵进化策略。它的优势体现在它支持受约束的搜索空间和多损失函数优化（多目标优化）。

6. GpFlowOpt

https://github.com/GPflow/GPflowOpt
102星，27 Forks ，407 Commits
最新版本0.1.0，2017.9.11更新

GpFlowOpt是一个基于GpFlow库的高斯过程优化器，可使用TensorFlow在GPU上运行高斯过程任务。

你如果要用到贝叶斯优化且有可用的GPU计算资源，那GpFlowOpt库应该是理想之选。

7. FAR-HO

https://github.com/lucfra/FAR-HO
有22星， 5 Forks，110 Commits
需手动安装

FAR-HO库运行在TensorFlow上，包含一系列基于梯度的优化器，包括Reverse-HG和Forward-HG。

这个库旨在构建TensorFlow中基于梯度的超参数优化器的访问，允许在GPU或其他张量优化计算环境中进行深度学习模型的训练和超参数优化。

8. Xcessiv

https://github.com/reiinakano/xcessiv
1055星，76 Forks，316 Commits
最新版本0.5.1，2017.8.10更新

Xcessiv库支持大规模模型开发、执行和集成。它的优势在于能够在单个GUI界面中管理多个机器学习模型的训练、执行和评估。

它具有多个集成工具来组合这些模型，以实现最佳性能。它包括一个贝叶斯搜索参数优化器，这个优化器支持高级别并行计算，还支持与TPOT库的集成。

9. HORD

https://github.com/ilija139/HORD
52星，8 Forks，33 Commits
需手动安装

HORD是一个用于超参数优化的独立算法，它能为需要优化的黑盒模型生成一个代理函数，并用它来生成最接近理想状态的超参数组合，以减少对整个模型的评估。

与Tree Parzen Estimators、SMAC和高斯过程方法相比，它始终具有更高的一致性和更低的错误率，而且这个方法特别适用于极高维数据分析。

10. ENAS-pytorch

https://github.com/carpedm20/ENAS-pytorch
848星， 135 Forks，33 Commits
需手动安装

ENAS-pytorch可在pytorch中实现高效的深度学习结构搜索。它使用参数共享来构建更高效的网络，使其适用于深度学习结构搜索。

全流程解决方案

1. ATM

https://github.com/HDI-Project/ATM
251星，56 Forks， 557 Commits
需手动安装

Auto-Tune Models是麻省理工学院HDI项目开发出的框架，可用于机器学习模型的快速训练，仅需很小的工作量。

它使用贝叶斯优化和Bandits库，利用穷举搜索和超参数优化来实现模型选择。要注意，ATM仅支持分类问题，也支持AWS上的分布式计算。

2. MLBox

https://github.com/AxeldeRomblay/MLBox
504星，115 Forks，854 Commits
最新版本0.5.0，2017.8.25更新

MLBox是一个新出的框架，其目标是为自动机器学习提供一个最新和最先进的方法。

除了许多现有框架实现的特征工程外，它还提供数据采集、数据清理和训练-测试漂移检测等功能。

此外，它使用Tree Parzen Estimators来优化所选模型的超参数。

3. auto_ml

https://github.com/ClimbsRocks/auto_ml
793星，146 Forks，1149 Commits
最新版本2.7.0，2017.9.11更新

Auto_ml是一种实用工具，旨在提高从数据中获取的信息量，且无需除数据清洗外的过多工作。

该框架使用进化网格搜索算法来完成特征处理和模型优化的繁重工作。它利用其它成熟函数库（如XGBoost、TensorFlow、Keras、LightGBM和sklearn）来提高计算速度，还宣称只需最多1毫秒来实现预测，这也是这个库的亮点。

该框架可快速洞察数据集（如特征重要性）来创建初始预测模型。

4. auto-sklearn

https://github.com/automl/auto-sklearn
2271星， 438 Forks，1839 Commits
最新版本0.3.0，2018.1.5更新

Auto-sklearn使用贝叶斯搜索来优化机器学习流程中使用的数据预处理器、特征预处理器和分类器，并把多个步骤经过训练后整合成一个完整模型。

这个框架由弗莱堡大学的ML4AAD实验室编写，且其中的优化过程使用同一实验室编写的SMAC3框架完成。

顾名思义，这个模型实现了sklearn中机器学习算法的自动构建。Auto-sklearn的主要特点是一致性和稳定性。

5. H2O

https://github.com/h2oai/h2o-3
3132星， 1217 Forks，22936 Commits
最新版本3.20.0.1，2018.6.7更新

H2O是一个用Java编写的机器学习平台，它和sklearn等机器学习库的使用体验相似。但是，它还包含一个自动机器学习模块，这个模块利用其内置算法来创建机器学习模型。

该框架对内置于H2O系统的预处理器实施穷举搜索，并使用笛卡尔网格搜索或随机网格搜索来优化超参数。

H2O的优势在于它能够形成大型计算机集群，这使得它在规模上有所增长。它还可在python、javascript、tableau、R和Flow（web UI）等环境中使用。

6. TPOT

https://github.com/EpistasisLab/tpot
4130星，705 Forks，1766 Commits
最新版本0.9，2017.9.27更新

TPOT为基于树的流程优化工具，是一种用于查找和生成最佳数据科学流程代码的遗传编程框架。TPOT和其他自动机器学习框架一样，从sklearn库中获取算法。

TPOT的优势在于其独特的优化方法，可以提供更有效的优化流程。

它还包括一个能把训练好的流程直接转换为代码的工具，这对希望能进一步调整生成模型的数据科学家来说是一个主要亮点。

7、Orange3
https://github.com/biolab/orange3
1424星，422 Forks，9477 Commits
使用的说明文档参考：http://orange-visual-programming.readthedocs.io/widgets/model/randomforest.html
是一款基于组件的数据挖掘软件。它包含了广泛的数据可视化，数据探索，预处理技术。它有良好的用户接口，对于高级玩家可当作Python编程语言的一个模块来使用。

8、TransmogrifAI
参考：https://engineering.salesforce.com/open-sourcing-transmogrifai-4e5d0e098da2
TransmogrifAI 是一个基于 Scala 和 SparkML 构建的库。数据科学家只需几行代码就可以自动完成数据清理、特征工程和模型选择，从而获得一个高性能的模型，并在后续进一步的探索和迭代。
TransmogrifAI 封装了机器学习过程的五个主要组件：

在 Salesforce，自动化将模型训练所需的总时间从几周和几个月缩短到几个小时。封装所有这些复杂性的代码非常简单，只需几行代码就可以搞定上述的自动化特征工程、特征验证和模型选择：

// 读取交易数据
val dealData = DataReaders.Simple.csvCase[Deal](path = pathToData).readDataset().toDF()
// 抽取特征
val (isClosed, predictors) = FeatureBuilder.fromDataFrame[RealNN](dealData, response = "isClosed")
// 自动化特征工程
val featureVector = predictors.transmogrify()
// 自动化特征验证
val cleanFeatures = survived.sanityCheck(featureVector, removeBadFeatures = true)
// 自动化模型选择
val (pred, raw, prob) = BinaryClassificationModelSelector().setInput(isClosed, cleanFeatures).getOutput()
// 建立工作流并开始训练模型
val model = new OpWorkflow().setInputDataset(dealData).setResultFeatures(pred).train()

9、EasyML
https://github.com/ICT-BDA/EasyML
1693星，370 Forks，86 Commits
是国产中科院下牵头开发的良心作品，也替我们国家这个领域的开源作品点个赞。
Easy Machine Learning 提供了一个通用的数据流系统，可以降低将机器学习算法应用于实际任务的难度。在该系统中，一个学习任务被构造为一个有向无环图（DAG／directed acyclic graph），图中的每个节点表征一步操作（即机器学习算法），每一条边表征从一个节点到后一个节点的数据流。 用户可自定义任务流程，或根据现有系统中的任务／模板进行克隆。在把任务提交到云端之后，每个节点将根据 DAG 图中的数据流向及依赖关系自动执行任务流程。交互式的图形用户界面，可方便用户通过拖曳的方式创建、配置、提交和监控构建的任务。该系统的优点有：
1.降低定义和执行机器学习任务的门槛；
2.可在平台上共享数据、程序、任务流程和分析结果；
3.在一个任务中无缝整合单机算法和分布式算法，用户可在一个任务中同时包含M/R, Spark, 单机等多种不同类型的程序；
4.对程序的编写语言无限制，可支持任何能够通过Shell命令运行的语言，如Scala、Java、Python等；

10、AutoKeras
https://github.com/jhfjhfj1/autokeras
http://autokeras.com/
2654星，320 Forks，386 Commits
Auto-Keras 是一个开源的自动机器学习库。Auto-Keras 的终极目标是允许所有领域的只需要很少的数据科学或者机器学习背景的专家都可以很容易的使用深度学习。Auto-Keras 提供了一系列函数来自动搜索深度学习模型的网络和超参数。

安装：

pip install autokeras

样例：

import autokeras as ak
clf = ak.ImageClassifier()
clf.fit(x_train, y_train)
results = clf.predict(x_test)

参考原文：https://medium.com/georgian-impact-blog/automatic-machine-learning-aml-landscape-survey-f75c3ae3bbf2

最后

以上就是爱笑短靴为你收集整理的自动机器学习工具全景图：精选27种框架，解放炼丹师的全部内容，希望文章能够帮你解决自动机器学习工具全景图：精选27种框架，解放炼丹师所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。