阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%

开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、StarRocks、Flink、Presto等开源大数据计算和存储引擎。

EMR on ECS是指EMR在ECS上运行的方式。EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。

EMR on ECS 支持弹性伸缩，能够根据业务需求和策略自动调整计算能力（即节点数量）。EMR on ECS 近期重磅推出托管弹性伸缩功能，基于 EMR 托管弹性伸缩功能，您可以指定集群的最小和最大计算限制，EMR会持续对与集群上运行的工作负载相关的关键指标进行采样，自动调整集群大小，以获得最佳性能和资源利用率。

用例和优势

在 EMR 托管弹性伸缩发布之前，您必须提前预测工作负载或填写自定义弹性伸缩规则，这些规则取决于对服务框架（例如 Apache Spark 或 Apache Hive）的深入了解。预测工作负载或编写自定义规则比较困难且容易出错。集群资源大小不正确通常会导致稳定性风险，或者资源利用不足及成本超支。

阿里云EMR发布托管弹性伸缩功能后，您只需为集群指定最大和最小的Task节点数，阿里云EMR将自动在范围内调整集群规模，以实现最优性能与面对业务激增，EMR可以在较短时间内自动补充资源，并将新增任务调度至新的节点上在业务高峰过后，自动移除多余的资源，任务平滑的回到原有节点上，提升资源利用率。

为了对比固定集群和托管弹性伸缩集群的资源利用率效果，我们模拟了以下集群和场景：

用例

• 集群设置：

	规格	数量
master	ecs.r7.4xlarge 16 vCPU 128 GiB	1
core	ecs.g7.xlarge 4 vCPU 16 GiB	2
task	ecs.g7.xlarge 4 vCPU 16 GiB	+ 固定集群设置：20<br/>+ 托管弹性伸缩集群设置：<br/> - 最小Task节点数：0<br/> - 最大Task节点数：20

• 场景设置：

场景	作业提交持续时间	作业提交间隔	作业高峰持续时间
有时间规律：固定长作业	4小时	2小时	1小时
有时间规律：固定短作业	2小时	15分钟	5分钟
夜间周期规律+白天随机提交	2小时	随机	5分钟
无时间规律	随机	随机	随机

• 效果对比：

相比于固定集群配置，托管弹性伸缩在各类场景下都有较大的资源利用率提升。

资源利用率	未开启弹性	托管伸缩
有时间规律：固定长作业	44.74%	87.85%
有时间规律：固定短作业	35.64%	74.58%
夜间周期规律+白天随机提交	27.08%	76.19%
无时间规律	39.18%	84.66%

以下大盘显示了 EMR 托管弹性伸缩如何根据集群负载调整集群大小，在高峰期扩大集群，在空闲时缩小集群。与固定大小的集群相比，在用例中启用托管弹性伸缩，可将集群成本降低 60%。

优势

相比于自定义伸缩，托管弹性伸缩在性能和配置便捷度上都有较大的提升

配置 EMR 托管扩展

配置 EMR 托管扩展非常简单。只需启用 EMR 托管扩展并设置Task节点数量的最小和最大限制。您可以在正在运行的集群上或在创建集群时启用托管扩展。有关更多信息，请参阅

如何在EMR控制台配置弹性伸缩_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

节点分配策略

EMR 托管弹性伸缩让您控制集群可扩展到的最小容量和最大容量。可控制这些容量的参数包括：

• 最大Task节点数
• 最小Task节点数

• 最大按量Task节点数，最大按量Task节点数是用来调节抢占式实例和按量实例的分配

  • 仅扩展按量Task节点，最大按量Task节点数=最大Task节点数。
  • 仅扩展抢占式实例Task节点，最大按量Task节点数=最小Task节点数。