YARN是Hadoop的处理层,由Master(资源管理器)和Slave(节点管理器)服务组成,用于处理数据。资源管理器(RM)是负责Hadoop集群中运行的所有作业之间的资源分配和管理的关键组件。
始终建议在Namenode和Resource Manager等关键服务上启用集群高可用性 (HA),这也是最佳实践。
要求
- 在 CentOS/RHEL 7 上部署 Hadoop 服务器的最佳实践 – 第 1 部分
- 设置 Hadoop 先决条件和安全强化 – 第 2 部分
- 如何在 CentOS/RHEL 7 上安装和配置 Cloudera Manager – 第 3 部分
- 如何在 CentOS/RHEL 7 上安装 CDH 并配置服务放置 – 第 4 部分
- 如何为 Namenode 设置高可用性 – 第 5 部分
在本文中,我们将了解在资源管理器上启用高可用性的步骤。
在资源管理器上启用高可用性
1.转到以下地址的Cloudera Manager并导航到YARN –> Actions –> Enable High Availability。
http://13.233.129.39:7180/cmf/home
![](https://www.alaica.com/wp-content/uploads/linux-1074.png)
![](https://www.alaica.com/wp-content/uploads/linux-1075.png)
2.选择您将在其中安装第二个资源管理器的服务器。通常,我们将拥有第二个主服务器来部署高可用性。在这里,我们选择master2来启用HA。
![](https://www.alaica.com/wp-content/uploads/linux-1076.png)
![](https://www.alaica.com/wp-content/uploads/linux-1077.png)
3.选择master2后,单击“继续”继续。
![](https://www.alaica.com/wp-content/uploads/linux-1078.png)
4.将启动启用HA过程。单击各个步骤即可查看后台操作。
![](https://www.alaica.com/wp-content/uploads/linux-1079.png)
5.所有流程完成后,您将获得“已完成”状态。单击“完成”。
![](https://www.alaica.com/wp-content/uploads/linux-1080.png)
6.通过在Cloudera Manager –> YARN –> Instances中查看Yarn实例来验证资源管理器高可用性。
![](https://www.alaica.com/wp-content/uploads/linux-1081.png)
您可以看到两个资源管理器,一个处于“ Active ”状态,另一个处于“ Standby ”状态。
![](https://www.alaica.com/wp-content/uploads/linux-1082.png)
结论
在本文中,我们逐步完成了在资源管理器上启用高可用性的过程。每当活动资源管理器出现故障时,备用资源管理器将变为活动状态,以便生产不会中断。