我是靠谱客的博主 犹豫老虎,最近开发中收集的这篇文章主要介绍MaxCompute Python 3 环境配置方法,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

MaxCompute 的 Python 环境配置方法

MaxCompute Python 公共环境

在 DataWorks 配置项或 spark-defaults.conf 文件中添加以下配置即可,不同 Python 版本配置如下:

Python 2.7.13 配置
## 以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加
spark.hadoop.odps.cupid.resources = public.python-2.7.13-ucs4.tar.gz
spark.pyspark.python = ./public.python-2.7.13-ucs4.tar.gz/python-2.7.13-ucs4/bin/python

## 三方库列表
https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py27/py27-default_req.txt.txt
Python 3.7.9 配置
## 以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加
spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

## 三方库列表
https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py37/py37-default_req.txt

上传完整自定义 Python 环境

适用于依赖较为复杂或需要自定义 Python 版本的情况。您需利用 Docker 容器打包并上传完整 Python 环境,详情请参见 Package依赖。


MaxCompute 官方文档:https://help.aliyun.com/document_detail/154113.html#section-388-wt9-ry5

最后

以上就是犹豫老虎为你收集整理的MaxCompute Python 3 环境配置方法的全部内容,希望文章能够帮你解决MaxCompute Python 3 环境配置方法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(71)

评论列表共有 0 条评论

立即
投稿
返回
顶部