php master-slave Hadoop MapReduce步骤详解_MapReduce开发运行的精简原理

简单介绍

相信关于中的相关文章会很多，这里只简单介绍一下的相关知识。

的来源于公司的三篇论文中的，其核心思想是“分而治之”

Map模块主要负责“分割”工作，具体来说，它将繁杂的任务拆解成若干个“基础任务”，以便于并行执行。而这一拆分操作得以实施的关键在于，这些基础任务之间能够独立进行计算，相互之间几乎不存在依赖性。

负责“合”，即对map阶段的结果进行全局汇总。

目前普遍采用.x版本的yarn资源平台进行运行，其具体操作步骤将在后续内容中作详尽阐述。

编程规范

该开发过程包含八个阶段，其中Map阶段细分为两个子步骤，第四阶段则由四个子步骤组成，而另一个阶段同样被划分为两个子步骤。

Map 阶段 2 个步骤

定义特定类别，对数据进行分割，形成键值对（K1与V1），随后输入至下一环节。

设定自定义的映射规则，对前一步骤得到的输出进行转换，生成新的键值对（K2和V2），并展示最终结果。

阶段 4 个步骤

3）对输出的 Key-Value 对进行分区

4）对不同分区的数据按照相同的 Key 排序

5）(可选) 对分组过的数据初步规约, 降低数据的网络拷贝

对数据进行分类，将具有相同键值的值项汇集到一个集合内。

阶段 2 个步骤

对多个Map任务的输出进行排序和整合，通过编写函数来定制特定的处理逻辑，对输入的键值对进行转换，最终输出新的键值对（K3和V3）。

8）设置 处理并保存 输出的 Key-Value 数据

的步骤图

yarn资源调度

Yarn是集群内的资源管理模块，自0.0版本起引入该模块。它能够为各种计算框架提供资源管理和调度的服务。主要职责是管理集群中的资源，尤其是服务器的硬件资源，涵盖CPU、内存、磁盘和网络IO等方面，同时负责调度在Yarn上运行的各类任务。

与.x版本相较，yarn的核心宗旨在于将资源管理功能与作业监控职能区分开来，具体实施方式是通过设立一个统一的资源管理系统（RM），并为每一个应用程序配备一个专属的应用管理器（AM）。

总结一句话就是说：yarn主要就是为了调度资源，管理任务。

YARN在整体架构上采用的是/Slave模式，主要由以下几个核心组件构成：、、以及等。

负责应对客户端的请求，对各个网络模块（NM）上的资源实施集中化的管理和协调。负责分配可用的资源，并对其运行状况进行监控。该系统主要由调度器和应用程序管理器这两个核心组件构成。

调度器：调度器依据容量、队列等限制性因素，对系统内资源进行合理分配，确保各运行中的应用程序得到所需资源。它仅依据应用程序的资源需求进行资源分配，分配的单位是资源。调度器不承担监控或追踪应用程序状态的职责。简而言之，调度器依据应用程序的资源需求以及集群机器的资源状况，为应用程序分配封装在其中的资源。

应用程序管理器：该管理器承担着对系统内所有应用程序的全面管理任务，涵盖了应用程序的提交过程、与调度器进行资源协调以启动程序、实时监控其运行状况，并在出现故障时负责重启程序。此外，它还负责追踪分配给各个应用程序的进度与状态。

(NM) 作为节点上的资源与任务管理者，它负责定期上报节点资源的使用状况以及各个任务的运行状态；此外，它还能接收并妥善处理启动或停止等指令。

用户提交的每个应用程序都内置了一个模块，该模块主要承担应用监控、追踪执行状态以及重启失败任务等职责。该模块作为应用框架的一部分，主要负责协调资源，并与协同组件共同完成任务的执行与监控。

在YARN框架中，资源抽象指的是对特定节点上多种资源维度的封装，这些资源包括内存、CPU、磁盘、网络等。当用户提出资源申请时，系统所提供的资源信息，即是通过这种抽象方式来呈现的。

yarn的架构和工作流程

步骤分析：

用户通过执行（jar xxx.jar）指令，向主节点（RM）的进程主节点提交上传任务。主节点RM评估集群状况，挑选一台（NM）节点，分配一块资源以启动进程。进程从RM接收任务请求，执行任务分配。根据任务需求，向RM请求资源分配方案。依据分配方案，在各个从节点上启动资源，执行任务。收集各Task上传的执行进度与结果，并将任务执行成效反馈给用户。