Linux环境下Hadoop的资源调度机制与实践

一、Hadoop资源调度的核心组件：YARN

Hadoop的资源调度由YARN（Yet Another Resource Negotiator）负责，它是Hadoop 2.0及以上版本的核心组件，旨在解决Hadoop 1.0中“资源管理与作业调度耦合”的问题。YARN采用主从架构，主要包括以下组件：

ResourceManager（RM）：集群全局资源管理器，负责接收资源请求、分配Container（资源容器）、监控NodeManager状态；
NodeManager（NM）：每个节点的资源代理，负责管理本节点资源（CPU、内存）、启动/监控Container、向RM汇报资源使用情况；
ApplicationMaster（AM）：每个应用程序的“管家”，负责向RM申请资源、协调任务执行（如MapTask/ReduceTask的调度）、监控任务状态；
Container：YARN的资源抽象单位，封装了CPU、内存等资源，为应用程序的任务提供隔离的运行环境。

二、YARN的主要资源调度策略

YARN支持多种调度策略，适用于不同场景，核心策略如下：

1. FIFO调度器（先进先出）

特点：最简单的调度策略，所有作业按提交顺序进入单一队列，RM优先为队列头部的作业分配资源，只有当前作业完成后，后续作业才能获得资源。
优点：实现简单，无额外配置成本，适合小规模集群或开发测试环境。
缺点：缺乏公平性，大作业可能长期占用资源，导致小作业长时间等待，资源利用率低。
适用场景：单用户、作业数量少、对执行顺序有严格要求的场景（如测试环境）。
配置方法：FIFO是YARN的默认调度器，无需修改yarn-site.xml；若需明确指定，可添加以下配置：

<property>
  <name>yarn.resourcemanager.scheduler.classname>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fifo.FifoSchedulervalue>
property>

2. Capacity Scheduler（容量调度器）

特点：支持多队列资源划分，每个队列分配固定比例的资源（如生产队列占40%、开发队列占60%），队列内采用FIFO策略。同时支持队列嵌套（如生产队列下可划分“高优先级”“低优先级”子队列）和弹性资源分配（队列空闲时可借用其他队列的空闲资源）。
优点：严格的资源隔离，适合多租户共享集群（如企业级环境），能保障关键业务的资源需求。
缺点：资源分配灵活性不足，空闲资源共享效率较低（需手动配置弹性资源）。
适用场景：多部门、多项目共享的企业级集群，需要严格资源配额管理的场景。
配置实战：

在yarn-site.xml中启用容量调度器：

<property>
  <name>yarn.resourcemanager.scheduler.classname>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulervalue>
property>

在capacity-scheduler.xml中定义队列结构与资源配额：

<property>
  <name>yarn.scheduler.capacity.root.queuesname>
  <value>prod,devvalue> 
property>
<property>
  <name>yarn.scheduler.capacity.root.prod.capacityname>
  <value>40value> 
property>
<property>
  <name>yarn.scheduler.capacity.root.prod.maximum-capacityname>
  <value>70value> 
property>
<property>
  <name>yarn.scheduler.capacity.root.dev.capacityname>
  <value>60value> 
property>
<property>
  <name>yarn.scheduler.capacity.root.dev.maximum-capacityname>
  <value>90value> 
property>
<property>
  <name>yarn.scheduler.capacity.root.prod.acl_submit_applicationsname>
  <value>prod-teamvalue> 
property>

动态更新配置（无需重启集群）：
```
yarn rmadmin -refreshQueues
```

3. Fair Scheduler（公平调度器）

特点：以“公平”为核心目标，动态分配资源，确保所有作业都能获得大致相等的资源份额（如作业A和作业B各占50%资源）。支持资源抢占（当某个作业占用过多资源时，RM可从该作业中抢占资源分配给其他作业），避免资源饥饿。
优点：公平性好，适合多用户、多作业的动态共享场景（如数据分析师同时提交多个查询任务），能提高集群整体利用率。
缺点：配置较复杂，资源抢占可能影响正在运行的任务。
适用场景：多用户、作业优先级不同、需要公平分配资源的场景（如数据实验室、共享开发环境）。
配置实战：

在yarn-site.xml中启用公平调度器并指定配置文件：

<property>
  <name>yarn.resourcemanager.scheduler.classname>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchedulervalue>
property>
<property>
  <name>yarn.scheduler.fair.allocation.filename>
  <value>/usr/local/hadoop/etc/hadoop/fair-scheduler.xmlvalue> 
property>
<property>
  <name>yarn.scheduler.fair.preemptionname>
  <value>truevalue> 
property>

新建fair-scheduler.xml配置队列资源：

"1.0"?>
<allocations>
  <queue name="default">
    <minResources>1024mb,10vcoresminResources> 
    <maxResources>2048mb,20vcoresmaxResources> 
    <weight>1.0weight> 
  queue>
  <queue name="high_priority">
    <minResources>2048mb,20vcoresminResources> 
    <maxResources>4096mb,40vcoresmaxResources> 
    <weight>2.0weight> 
  queue>
  <user name="data_analyst">
    <maxRunningApps>5maxRunningApps> 
  user>
allocations>

三、资源调度配置与优化技巧

1. Container资源限制

通过以下参数调整单个Container的最大资源量，避免单个任务占用过多资源：

<property>
  <name>yarn.scheduler.maximum-allocation-mbname>
  <value>8192value> 
property>
<property>
  <name>yarn.scheduler.maximum-allocation-vcoresname>
  <value>8value> 
property>

需确保这些值不超过节点的实际资源（如NodeManager的yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores）。

2. 启用动态资源分配

对于支持动态资源分配的应用（如Spark、Flink），开启该功能可使应用根据实际负载请求/释放资源，提高资源利用率：

<property>
  <name>yarn.scheduler.dynamic-resource-allocation.enabledname>
  <value>truevalue>
property>
<property>
  <name>yarn.scheduler.dynamic-resource-allocation.min-alloc-mbname>
  <value>512value> 
property>
<property>
  <name>yarn.scheduler.dynamic-resource-allocation.max-alloc-mbname>
  <value>4096value> 
property>

3. 监控与调优

YARN Web UI：通过http://resourcemanager-host:8088查看队列使用情况、应用状态、资源分配趋势；
日志聚合：开启日志聚合功能，方便故障排查（yarn.log-aggregation-enable=true）；
生产经验：根据集群负载调整队列资源配额（如高峰时段增加生产队列资源）、定期清理闲置应用（避免资源浪费）。

四、调度策略的选择建议

若为小规模集群/开发测试环境，选择FIFO调度器（简单易用）；
若为企业级多租户集群，选择容量调度器（严格资源隔离）；
若为多用户动态共享场景，选择公平调度器（公平分配资源）。

通过合理配置YARN调度策略，可显著提升Hadoop集群的资源利用率，保障各类作业的高效执行。

以上就是关于“Linux中Hadoop如何进行资源调度”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm