专注小蝴蝶

文章
5
资源
0
加入时间
2年10月17天

Hive数据倾斜优化和分区

二、Hive数据倾斜问题优化1.现象当Hive放生数据倾斜的时候,我们在使用HQL运行mr的时候可以发现,mapreduce卡在99%2.当Hive发生数据倾斜的时候我应该怎么办呢?第一种方案,数据倾斜五分就是key的数据量非常不均匀,我们可以开启map聚合的参数(hive.map.aggr=ture),开启之后会把数据现在map端进行聚合,当reduce端聚合的时候就只需要聚合m...

Java中集合分页显示的方法

public void listStr(int pageNo1,List list) { //当前页码 Integer pageNo=pageNo1; //每页显示条数 Integer pageSize=2; //总页数 总页数等于总条数模余每页条数 如果总条数模余每页条数等于0总页数=总条数/每页条数 否则总页数=总条数/每页条数+1 Integer pageC...

分布式系统CAP理论解析

在分布式系统架构下,CAP理论已经成为公认的定理,随着二十年技术的发展,CAP理论的解读也发生了些变化。本文简要介绍CAP理论的原理及证明思路,以及在分布式架构下的适用性,以加深理解。