MapReduce是什么？
MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,MapReduce程序本质上是并行运行的,因此可以解决海量数据的计算问题.
MapReduce任务过程被分为两个处理阶段:map阶段和reduce阶段.每个阶段都以键值对作为输入和输出.用户只需要实现map()和reduce()两个函数即可实现分布式计算.
MapReduce的组成部分
1、JobClient（客户端）
用户编写的MapReduce程序通过客户端提交到JobTracker
2、JobTracker
这是一个master服务，程序启动后，JobTracker负责资源监控和作业调度。JobTracker监控所有的TaskTracker和job的健康状况，一旦发生失败，即将之转移到其他节点上，同时JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器，而调度器会在资源出现空闲时，选择合适的任务使用这些资源。一个Hadoop集群只有一个JobTracker，存在单点故障的可能。
3、TaskTracker
运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信接受作业，并负责直接执行每个任务。TaskTracker 会周期性地通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker 发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）。
MapReduce作业和任务
MapReduce作业（job）是用户提交的最小单位，而Map任务/Reduce任务（task）是MapReduce计算的最小单位。
当用户向Hadoop提交一个MapReduce作业时，JobTracker的作业分解模块会将其拆分为任务交由各个TaskTracker执行，在MapReduce计算框架中，任务分为两种——Map任务和Reduce任务。
一个TaskTracker能够启动的任务数量是由TaskTracker配置的任务槽（slot）决定的，槽又分为Map槽和Reduce槽，并且Map任务只能使用Map槽，Reduce任务只能使用Reduce槽。
MapReduce流程分析
作业提交：
1.由JobClient启动一个作业。
2.向JobTracker请求一个作业ID。
3.将运行作业所需要的资源（包括作业jar文件、第三方jar文件等）复制到HDFS下的特定目录，供作业运行时使用。
4.调用JobTracker的submitJob方法告知JobTracker作业准备执行。
作业初始化：
5.当JobTracker收到对其submitJob方法的调用后，会将此调用交由作业调度器进行调度，并对其初始化，创建一个表示正在运行作业的对象。
6.为了给TaskTracker分配任务，必须先从HDFS系统中获取已计算好的输入分片信息。然后创建Map任务和Reduce任务。
任务分配：
7.TaskTracker每隔一段时间会给JobTracker发送一个心跳，告诉JobTracker它是否存活、节点资源使用情况、各个任务的状态等，如果JobTracker觉得TaskTracker已经准备好了，那么JobTracker会给TaskTracker分配一个新任务。
任务执行：
8.TaskTracker在接到启动任务的命令后，会把作业的jar文件、第三方jar文件等作业所需要的文件复制到TaskTracker所在的节点的本地目录。
9.接着TaskTracker会新建一个TaskRunner实例来运行任务，TaskRunner启动一个JVM（步骤9）运行每个任务（步骤10）。
任务完成：
当JobTracker收到最后一个任务已完成的通知后（通常是Reduce任务），便把作业的状态设置为成功，JobClient会将作业完成的消息在控制台打印。最后JobTracker会清空作业的工作状态，并让TaskTracker也清空作业的工作状态。
参考：
http://weixiaolu.iteye.com/blog/1474172
《hadoop海量数据处理技术详解与项目实战》
