粗暴蜜粉

文章
4
资源
0
加入时间
2年10月17天
mapreduce任务中数据分布倾斜导致reduce负载不均衡的解决方案

mapreduce任务中数据分布倾斜导致reduce负载不均衡的解决方案

概述：从所周知，当需求中数据出现分布不均的情况时，按照hadoop mr任务的默认partition方法，会出现某些机子负载过重的情况，这样会拖慢整个任务进度。在这里我介绍一个用随机数解决这个问题的方案，下面是通过代码来模拟map根据partition来分区的情况；package com.mxq.balance;import java.util.Vector;public class UNBalan
hadoop 2023-12-07
MYSQL事务并发处理的问题：脏读、不可重复读、幻读一：脏读：二：不可重复读：

MYSQL事务并发处理的问题：脏读、不可重复读、幻读一：脏读：二：不可重复读：

MYSQL事务并发处理的问题：脏读、不可重复读、幻读MYSQL5.5.X的版本默认引擎为：InNODB，在此之前是MyIASM。Innodb支持事务，MyIasm不支持事务。一：脏读：事务A修改了某个值，但是未提交，这时候事务A又读取了这个值，事务A可能又把该值撤销（回滚），这时候的数据可能就是无用数据。这就叫脏读。这里有些同学可能就要问了，既然事务A没提交，事务B是怎么读取到的？如果MYSQL隔离级别设置ReadUnCommitted，这时候其他事务就可以读取到未提交的事务。（重点在于未提
PHP基础题 2023-09-03
netty 4.x源码分析

netty 4.x源码分析

服务端需要经过socket、bind、accept、read、write等步骤，客户端需要经过socket、connect、read、write等步骤，后续此系列文章会对每一个步骤如何发生进行分析。 netty4源码分析-线程的创建netty4源码分析-socketnetty4源码分析-bind Netty4源码分析-NioEventLoop实现的线程运行逻辑netty4源码分
nio 2023-08-02

他的专栏

JavaScript（0）
nio（1）
PHP基础题（1）
hadoop（1）
mysql（1）

他的归档

2024年06月（1）
2023年12月（1）
2023年09月（1）
2023年08月（1）

热门文章

1
netty 4.x源码分析
2
MYSQL事务并发处理的问题：脏读、不可重复读、幻读一：脏读：二：不可重复读：
3
mapreduce任务中数据分布倾斜导致reduce负载不均衡的解决方案
4
ubuntu MySQL访问时出现ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using