简述下Spark中的自带的standalone集群管理的任务执行流程
- 开源代码
- 2025-09-14 08:48:01

spark的standalone模集群模式是spark自带的一种集群模式,主要就是适用于进行测试环境的测试工作,以及一些数据小范围的测试使用,一般不用于生产环境。 standalone模式洪有 master,worker,driver,excutor,w无需依赖其它。 其中master指的就是主节点,管理对worker从节点资源的分配和管理,决定Driver和xcutor的运行位置 worker从节点主要是接受来自master主节点的指示启动Excutor driver驱动器是负责管理任务的DAU,负责调度运行task任务,取决于standalone是那种模式,如果是clinet的就是,就是提交大客户端机器上,如果是standaone on clusetr,就是会运行在某个从节点上。 excutor执行器是负责执行task任务的。
上述讲的其实就是spark任务提交所涉及到的组件啊,那么具体的步骤就是 1、Spark-submit提交需要运行的任务,涉及大参数包括claster类,以及运行模型是master,以及执行的内存和core等; 2、master接受到任务后选择一个work启动driver驱动器没,如果选择的事cline客户端模式,俺就是master所在的客户端作为driver驱动器运行的起点;如果是cluetr模式,那么就是需要选择一个worker节点作为driver驱动器的运行接地那 3、启动driver,启动driver之后,对提交的任务内容进行解析,生成DAG和task任务。 5、Excuttor注册和进行任务计算,master根据解析的资源,选择worker节点进行分配执行器的分配。 6、最后任务分配完后,进行释放资源
简述下Spark中的自带的standalone集群管理的任务执行流程由讯客互联开源代码栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“简述下Spark中的自带的standalone集群管理的任务执行流程”
 
               
               
               
               
               
               
               
               
   
   
   
   
   
   
   
   
  