本文对比介绍了Yarn的三种调度器：FIFOScheduler简单不适用于生产环境，FairScheduler支持多级队列与资源公平共享但调度特性不如CapacityScheduler完善。 CapacityScheduler具备分层队列、资源配额、安全性、弹性多租户管理，且支持Node Labels与Placement Constraints，是最推荐使用的调度方案。

文章主要介绍了Hadoop集群中HDFS和YARN组件的动态扩缩容操作流程，包括添加新磁盘目录和主机扩容的具体配置，如hdfs-site.xml和yarn-site.xml的调整，需同步白名单和黑名单并刷新节点信息。同时，退役节点需先迁移数据块，利用hdfs balancer和yarn rmadmin保证集群均衡和节点状态更新。最后提到操作中需注意相关权限和路径配置，并提供了一些网络链接作为参考。

问题 ​ hive 集群配置完成，web 监控界面的 8808 和 8042 和 10002 端口不需用户验证…

文章详细描述了在Centos7虚拟机集群环境下搭建Hadoop 3.1.1分布式系统的步骤，包括配置静态IP、关闭防火墙、设置主机名、免密登录和时间同步等。重点内容涉及集群规划、核心配置文件修改、JDK1.8安装与环境变量配置、Hadoop与Hive软件部署、启动和关闭集群命令脚本、以及日志服务器的配置。确保数据、路径、软件版本号等信息与原文一致，如IP地址（192.168.2.21/22/23）、日志保留时间（604800秒）等均准确保留。