Amazon EMR 代表 Amazon Elastic MapReduce。它是一种用于以经济高效的方式处理大量数据的 Web 服务。Amazon EMR 的核心组件是集群。每个集群都是 EC2 实例的集合,集群中的一个实例称为节点。每个节点都有一个附加的指定角色,称为节点类型,Amazon EMR 在节点类型上安装软件组件。
以下是Amazon EMR的节点类型:
主节点 - 主节点运行软件组件以在集群中的其他节点之间分配任务。它跟踪所有任务的状态并监控集群的健康状况。
核心节点 - 核心节点运行软件组件来处理任务并将数据存储在 Hadoop 分布式文件系统 (HDFS) 中。多节点集群将至少有一个核心节点。
任务节点 - 具有软件组件的任务节点处理任务,但不将数据存储在 HDFS 中。任务节点是可选的。