机器学习模型线上部署方法总结

目前存在的几种模型上线的方式

1、R+pmml+spark+airflow调度 

其他团队用R语言训练模型并转为pmml文件，然后我们使用spark将这个pmml文件封装为jar，使用airflow提交到yarn。 val is: InputStream = fs.open(path)

val pmml: PMML = PMMLUtil.unmarshal(is)

modelEvaluator = ModelEvaluatorFactory.newInstance.newModelEvaluator(pmml)

2、python+sklearn+airflow调度 

其他团队使用python训练好sklearn模型，并joblib.dumps()保存，然后我们在python文件中joblib.load()加载改文件，使用airflow离线调度。

3、xgboost+spark+xgb4j 

我们使用的是分布式的spark版的xgboost，训练好的模型直接保存为二进制文件model.booster.saveModel(hdfsOutStream)，然后xgboost4j加载该文件XGBoost.loadModel(is)实现线上实时预测。

4、tensorflow+tensorflow的java库 

ft模型先转为protobuf协议的模型， 

frozen_graph = freeze_session(get_session(), output_names=["output"])

tf.train.write_graph(frozen_graph, "./", "model.pb", as_text=False)

然后使用tf的java库加载改pb模型，在线预测 try (

最后

以上就是曾经火为你收集整理的机器学习模型线上部署方法总结的全部内容，希望文章能够帮你解决机器学习模型线上部署方法总结所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。