概述
MaxCompute 的 Python 环境配置方法
MaxCompute Python 公共环境
在 DataWorks 配置项或 spark-defaults.conf
文件中添加以下配置即可,不同 Python 版本配置如下:
Python 2.7.13 配置
## 以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加
spark.hadoop.odps.cupid.resources = public.python-2.7.13-ucs4.tar.gz
spark.pyspark.python = ./public.python-2.7.13-ucs4.tar.gz/python-2.7.13-ucs4/bin/python
## 三方库列表
https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py27/py27-default_req.txt.txt
Python 3.7.9 配置
## 以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加
spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3
## 三方库列表
https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py37/py37-default_req.txt
上传完整自定义 Python 环境
适用于依赖较为复杂或需要自定义 Python 版本的情况。您需利用 Docker 容器打包并上传完整 Python 环境,详情请参见 Package依赖。
MaxCompute 官方文档:https://help.aliyun.com/document_detail/154113.html#section-388-wt9-ry5
最后
以上就是犹豫老虎为你收集整理的MaxCompute Python 3 环境配置方法的全部内容,希望文章能够帮你解决MaxCompute Python 3 环境配置方法所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复