Spark版本：1.6.2 简介：本文档简短的介绍了spark如何在集群中运行，便于理解spark相关组件。可以通过阅读应用提交文档了解如何在集群中提交应用。
组件
spark应用程序通过主程序的SparkContext对象进行协调，在集群上通过一系列独立的处理流程运行。
为了便于迁移，SparkContext可以支持多种类型的集群管理器（spark standalone、Yarn、Mesos）。当与集群管理器创建连接后，spark在集群的节点上面申请executors，用于处理应用程序中的计算任务和数据存储。然后executors将一个用的代码发送到各个executors，最后SparkContext发送tasks到各个executor执行。
关于spark架构有一些内容需要指出：
每个应用都有自己的executor，他们会在应用程序的整个生命周期内一直存活，这样有利于应用间调度和executor的隔离。但这样也就意味着不同应用之间只能通过外部存储系统进行沟通。
Spark对于底层的集群管理系统并不知晓，他们能在不同集群上进行资源申请，并提供一致的接口进行通信和计算处理。
在应用的整个生命周期内，Driver程序需要监听和接受executors的信息，因此driver程序对于worker节点来说要可以通过网络寻址定位的。
由于Driver程序调度集群上面的任务，因而driver最好与worker在同一个网段运行，若远程执行最好开通RPC。
集群类型
目前Spark支持以下三种集群管理：
Standalone —— spark自带的集群管理器
Apache Mesos —— 一种可以运行Hadoop Mapreduce的通用集群管理
Hadoop Yarn —— Hadoop2的集群管理 除此之外，Spark Ec2脚本可以在Amazon EC2上面运行spark standalone模式。
提交应用
通过spark-submit在集群上提交应用程序
监控
每个驱动程序都有一个web UI进行监控，默认端口是4040，展示了正在运行的task、executors和storage usage。通过http://<driver-node>:4040可以对应用程序进行监控。监控界面简介
作业调度
Spark可以通过代码进行应用内和应用间的集群管理级别的资源分配。作业监控进行了详细介绍。
相关术语
下面对集群中常用的术语进行了介绍：
| 术语 | 解释 |
|---|---|
| Application | 用户基于Spark创建的应用程序，包含一个Driver程序和集群上一系列的executor |
| Application jar | 用户程序的jar包，需要包含第三方依赖，但不应该包含spark库，这些应该在集群环境中运行时提供 |
| Driver program | 运行main函数、创建SparkContext的程序 |
| Cluster manager | 申请集群资源的额外的管理器 |
| Deploy mode | 区分Driver运行的位置，若是cluster则驱动程序在集群内的节点上运行，若是client则驱动程序在集群外节点运行 |
| Worker node | 集群中可以进行计算的节点 |
| Executor | 应用在工作节点上的执行器，运行程序同时存储数据。每个应用有自己的executor |
| Task | Executor内部执行计算的单元 |
| Job | 由Action引起的多个task并行的计算单元，可以在driver日志查看 |
| Stage | 每个Job被划分为task，然后根据情况合并为stage |
