spark有三种集群部署模式，或者叫做集群管理模式分别是standalone，YARN和Mesos这三种模式其实都是master/slave模式，我来为大家讲解一下关于spark集群运行原理?跟着小编一起来看一看吧!
spark集群运行原理
spark有三种集群部署模式，或者叫做集群管理模式。分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。
那么在实际的项目中，我们该如何对比选择呢?下面是我的一些总结，主要参考了：
Which Apache Spark Cluster Managers Are The Right Fit? YARN, Mesos, or Standalone?
三种集群资源管理概述
Spark Standalone
作为Spark的一部分,Standalone是一个简单的集群管理器。它具有master的HA，弹性应对WorkerFailures，对每个应用程序的管理资源的能力，并且可以在现有的hadoop一起运行和访问HDFS的数据。该发行版包括一些脚本，可以很容易地部署在本地或在AmazonEC2云计算。它可以在Linux，Windows或Mac OSX上运行。
Apache Mesos
Apache Mesos ,分布式系统内核，具有HA的masters和slaves，可以管理每个应用程序的资源，并对docker容器有很好的支持。它可以运行Spark工作， Hadoop的MapReduce的，或任何其他服务的应用程序。它有Java， Python和C 的API。它可以在Linux或Mac OSX上运行。
Hadoop YARN
Hadoop YARN，作业调度和集群资源管理的分布式计算框架，具有HA为masters和slaves，在非安全模式下支持Docker容器，在安全模式下支持Linux和Windows container Executors，和可插拔的调度器。它可以运行在Linux和Windows上运行。
结语
感谢您的观看，如有不足之处，欢迎批评指正。
对大数据感兴趣的同学可以关注我，并在后台私信发送关键字：“大数据”即可获取免费的大数据学习资料。
知识体系已整理好（笔记，PPT，学习视频），欢迎大家来领取！
,
