hadoop的存储系统mapreduce(Hadoop的mapreduce任务运行原理)(1)

Hadoop任务运行原理

a>.客户端,提交MapReduce作业;

    b>.YARN资源管理器,负责协调集群上计算机资源的分配;

    c>.YARN节点管理器,负责启动和监视集群中机器上的计算容器(container);

    d>.MapReduce 的 application master,负责协调运行MapReduce 作业的任务。它和MapReduce任务在容器中运行,这些容器由资源管理器分配并由节点管理器进行管理;

    e>.分布式文件系统(一般为HDFS),用来与其他实体间共享作业信息;

一.任务运行过程

driver端将任务提交给某一个dateNode即我们得客户端,与此同时,起一个ApplicationMaster进程来来检测任务执行状态,并负责任务起停,资源管理器收到有任务来,查看资源且让schedule分配container,来运行任务,当任务运行结束时A p p li cationMaster进程来汇报任务执行状态 收到反馈后自己也被销毁,任务运行结束

,