目录

0. 相关文章链接

1. YARN调度器概述

2. 先进先出调度器（FIFO）

3. 容量调度器（Capacity Scheduler）

3.1. 容量调度器的特点

3.2. 容量调度器资源分配算法

4. 公平调度器（Fair Scheduler）

4.1. 公平调度器的特点

4.2. 公平调度器之缺额

4.3. 公平调度器队列资源分配方式

4.4. 公平调度器资源分配算法

0. 相关文章链接

Hadoop文章汇总

1. YARN调度器概述

        目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。

具体设置详见：yarn-default.xml文件

<property>
        <description>The class to use as the resource scheduler.</description>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

2. 先进先出调度器（FIFO）

FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

优点：简单易懂；

缺点：不支持多队列，生产环境很少使用；

3. 容量调度器（Capacity Scheduler）

Capacity Scheduler是Yahoo开发的多用户调度器。

3.1. 容量调度器的特点

1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4、多租户：支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

3.2. 容量调度器资源分配算法

1）队列资源分配
        从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。
2）作业资源分配
        默认按照提交作业的优先级和提交时间顺序分配资源。
3）容器资源分配
        按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
                a. 任务和数据在同一节点
                b. 任务和数据在同一机架
                c. 任务和数据不在同一节点也不在同一机架

4. 公平调度器（Fair Scheduler）

Fair Schedulere是Facebook开发的多用户调度器。

4.1. 公平调度器的特点

与容量调度器相同点：

1）多队列：支持多队列多作业

2）容量保证：管理员可为每个队列设置资源最低保证和资源使用上线
3）灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4）多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

与容量调度器不同点：

1）核心调度策略不同：
        容量调度器：优先选择资源利用率低的队列
        公平调度器：优先选择对资源的缺额比例大的

2）每个队列可以单独设置资源分配方式：
        容量调度器：FIFO、 DRF
        公平调度器：FIFO、FAIR、DRF

4.2. 公平调度器之缺额

• 公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
• 调度器会优先为缺额大的作业分配资源

4.3. 公平调度器队列资源分配方式

4.4. 公平调度器资源分配算法

注：其他Hadoop相关系列文章链接由此进 -> Hadoop文章汇总

最后

以上就是健康萝莉为你收集整理的Hadoop（23）：Yarn调度器和调度算法0. 相关文章链接1. YARN调度器概述2. 先进先出调度器（FIFO）3. 容量调度器（Capacity Scheduler）4. 公平调度器（Fair Scheduler）的全部内容，希望文章能够帮你解决Hadoop（23）：Yarn调度器和调度算法0. 相关文章链接1. YARN调度器概述2. 先进先出调度器（FIFO）3. 容量调度器（Capacity Scheduler）4. 公平调度器（Fair Scheduler）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。