maxcompute 框架相关

80 阅读 0 评论 53 点赞

我是靠谱客的博主失眠月饼，最近开发中收集的这篇文章主要介绍maxcompute 框架相关，觉得挺不错的，现在分享给大家，希望可以做个参考。

1、实例数量

① instance内存分配

[256，12GB]，默认为框架内存2G+JVM1G

② map实例数

根据split size决定，默认是256MB切分一个块，限制[1，100000]

③ reduce实例数

默认为map实例数的1/4，限制[0，2000]。

当map后数据膨胀会导致reduce处理数据量较大，速度较慢，需要手动优化

2、字节大小限制

① resource字节数

单job输入字节数默认不超过2GB

② split size

默认256MB，根据split的块数，分配map task数量

③ string 大小

限制为8MB

3、重试次数

① map或者 reduce instance失败后重试3次

② resource 读取默认重试64次

4、worker超时

在map或reduce instance无数据读写，且在600s内没有主动向master发送心跳，导致worker超时

5、数据存储

max compute 使用AliORC存储，在存储空间占用和数据读写速度上，相比Apache ORC和Apache Parquet都会更优

以上就是失眠月饼为你收集整理的maxcompute 框架相关的全部内容，希望文章能够帮你解决maxcompute 框架相关所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。