潇洒斑马

文章
6
资源
0
加入时间
2年10月17天
大数据小白系列 —— MapReduce流程的深入说明

大数据小白系列 —— MapReduce流程的深入说明

上一期我们介绍了MR的基本流程与概念，本期稍微深入了解一下这个流程，尤其是比较重要但相对较少被提及的Shuffling过程。Mapping上期我们说过，每一个mapper进程接收并处理一块数据，这块数据的大小默认就是一个HDFS数据块大小。Mapper处理数据时，基于性能考虑，会使用缓存，缓存的大小有一个默认值(比如100MB)，满了之后，将会写入磁盘文件。不...
大数据 2024-07-15
Nginx源码分析—HTTP框架执行流程

Nginx源码分析—HTTP框架执行流程

Nginx源码分析—HTTP框架执行流程HTTP框架动态执行中的大概流程：先与客户端建立TCP连接，接收HTTP请求行、头部并解析出他们的意义，再根据nginx.conf配置文件找到一些HTTP模块，使其一次合作者处理这个请求。为了精确地控制超时，还需要把读写事件放置到定时器中。通过事件模块提东的ngx_handle_read_event方法和ngx_handle_writ
nginx 2023-12-23
redisCluster 缓存节点的扩展和收缩故障发现和恢复

redisCluster 缓存节点的扩展和收缩故障发现和恢复

在集群中任意节点执行 cluster meet 命令让新节点加入进来。假设新节点是 192.168.1.1 5002，老节点是 192.168.1.1 5003，那么运行以下命令将新节点加入到集群中。192.168.1.1 5003> cluster meet 192.168.1.1 5002这个是由老节点发起的，有点老成员欢迎新成员加入的意思。新节点刚刚建立没有建立槽对应的数据，也就是说没有缓存任何数据。如果这个节点是主节点，需要对其进行槽数据的扩容；如果这个节点是从节点，就需要
redis 2023-10-20
Matlab编程设置默认参数——internal.stats.parseArgs

Matlab编程设置默认参数——internal.stats.parseArgs

指南当我们编写算法时，经常会遇到可调节的参数很多的情况。对于使用者来说，过多的调节参数可不是什么方便的事情。因此算法设计者最好先设置默认的参数值，使用者可以根据情况来调节这些参数。这样的代码鲁棒性更好。 一般的思路是：设置默认参数值 :internal.stats.parseArgs检查输入： internal.stats.getParamVal或 strncmpiintern...
matlab 2023-05-11

他的专栏

电脑常识（0）
打印外设（0）
JavaScript（1）
DNS服务器（0）
PHP编程（0）
php（1）
matlab（1）
redis（1）
nginx（1）
大数据（1）

他的归档

2024年07月（1）
2023年12月（1）
2023年10月（1）
2023年05月（1）
2022年11月（1）
2022年05月（1）

热门文章

1
React手稿之 React-Saga的详解
2
php整除不尽怎么加一取整
3
Matlab编程设置默认参数——internal.stats.parseArgs
4
redisCluster 缓存节点的扩展和收缩故障发现和恢复
5
Nginx源码分析—HTTP框架执行流程
6
大数据小白系列 —— MapReduce流程的深入说明