Spark - Standalone模式

Spark

Spark的部分内容和之前Spark系列重合,但是有些细节之前没有深入。

Master启动

基于高可用的考虑,Master会启动多个,但是只能有一个Master是提供服务的(ALIVE状态),其他Master都是STANDBY状态。

zookeeper集群的左右,一个是用来选举,另外一个是保存持久化Application、Driver、Executor的信息,便于恢复。

Worker启动

Worker在启动的时候,就会向Master进行注册,注册时需要上传workid,host,端口以及cup核心数,内存大小。

由于Master是高可用的,所以刚开始Worker并不知道ALIVE节点是哪个,于是他就会把注册请求发送给每一个Master节点。

Worker只有注册成功,才会被Master调用,所以为了保证注册成功,Worker会进行不断的尝试。

一共尝试的次数是16次,为了避免所有的Worker同一时间发送心跳,给Master造成压力,所以发送心跳的间隔时间是随机的。

前面6次的心跳间隔时间是5~15s之间,后面10次的心跳间隔时间是30~90s之间。

如果在这16次内注册成功,那就会取消尝试。如果16次都没成功,那这个Worker也没必要启动了,直接退出Worker进程。

这里重试的和刚开始注册的时候,有些不同。有可能因为某些原因导致重试,但是这个时候Worker是有Master的ALIVE节点信息,那Worker注册的时候,就直接往ALIVE节点注册就好了,不用每个Master都发送注册请求。

Master接收注册时,会看看自己是不是ALIVE节点,如果是STANDBY节点,那直接跟Worker说我是STANDBY节点,Worker知道他是STANDBY节点,就不做任何处理。

然后Master就会看这个Worker是否注册过了(根据worker注册提供的workid),如果注册过了,就跟Worker说,注册失败了。

Worker接收到注册失败的信息,就会看看我有木有注册成功啊(注册成功会有变量保存),如果注册成功,就忽略这条消息,知道自己是重复注册。

如果发现自己没注册成功,Master也说没注册成功,那就是没注册成功,所以退出Worker进程。

如果既不是STANDBY节点,Worker也没注册过,那就保存Worker的相应的信息,进行持久化,然后告知Worker已经注册成功。

Worker接收到成功后,就会把变量更改为注册成功(上面判断有用到),然后记录Master的地址(后面请求直接发这个地址了),取消注册的重试任务(已经成功了就不需要再尝试注册了)。

最后会发状态给Master,由于刚开始注册,Worker中并没有Driver和Executor,所以Master不会处理。

Master如何知道Worker存活

Worker注册成功后,还有一个非常重要的事情,就是发送心跳,维持状态。发送心跳的时候,直接发送workerid就好。

Master接收请求后,先看看是否注册过,如果没有注册过,就会让Worker重新注册,就会重复上面的注册流程。如果注册过,就修改Worker最后的心跳时间。

Master会有一个每隔60s的定时任务,对超过60s没有发送的Worker进行处理,会把这个Worker标记为DEAD状态,并移除其他相关内存(idToWorker用于映射workerid和Worker的关系,addressToWorker用于映射地址和Worker的关系)。

如果Worker已经是DEAD状态了,那超过960s就把Worker信息也移除。

比如60s没发心跳,此时Master会移除相关内容,然后在960s内,Worker重启后进行注册,那就会把Worker中为DEAD状态的Worker删除,再重新加新的Worker信息。

Driver启动

Driver在启动后需要向Master注册Application信息,和Worker注册Master一样,Driver也不知道哪个是ALIVE节点,所以他也向所有的Master进行注册。

注册信息包括Application的名称,Application需要的最大内核数,每个Executor所需要的内存大小,每个Executor所需的内核数,执行Executor的命令等信息。

这里的注册也有重试次数,最大重试3次,每次间隔20s,注册成功后,就会取消重试。

Master收到请求后,如果是STANDBY节点,那不做处理,也不回复任何信息(这个和Worker注册不一样,Wokrer那边回回复信息,但是Worker不处理)。

如果不是STANDBY节点,那就会把Application信息保存内存中,并做持久化。

接着就会给Driver发送已经注册成功的消息,Driver接收到消息,就会记录Master的信息,以及内部标识已经注册成功,不需要再重试。

Master如何知道Driver存活

Driver和Master之间并没有心跳,不像Worker会定时发送心跳,Master根据心跳移除过期的Worker,那Master怎么知道Driver是否退出呢?

第一种方式是Driver主动告知Master,第二种方式是Driver不正常退出,Master一旦监听到Driver退出了。这两种方式都会取消Application的注册。

Master接收到取消注册Application的消息后,就会移除缓存的Application及Application相关的Driver信息。

对于Driver,有可能还存在运行的Executor,就会发消息给Driver,让他杀死Executor,Driver收到消息后就会停止Application。

对应Worker,Master会群发给所有的Worker,告知这个Application已完成,Worker收到消息后,会清理Driver的临时文件。

最后把Application的信息持久化,并且告知其他Worker这个Application已完成。

Executor启动

Master在资源调度的时候,会让Worker启动Executor。

Worker接收到消息后,会判断是否是STANDBY节点的Master发送的消息,如果不是则忽略。

如果是,Worker就会创建一个线程,用来启动一个Executor的进程,启动Executor的进程后会回复Master说Executor已经启动成功。

Master知道Executor启动成功,也会告知Driver,你的Executor我已经帮你启动了。由于Executor并没有结束,Driver并没有做其他处理。

Executor启动后,就会向Driver进行注册,Driver先判断是否已经注册过或者在黑名单里,如果是,返回失败,如果不是,则保存这个Executor的信息,并告知Executor已经注册成功。

Driver在Executor注册时,还做了一件事,就是把注册信息发送给事件总线。Driver里还有有一个心跳接收器,用于管理Executor状态的。

这个心跳接收器会对总线的事件进行监听,当发现有Executor新增的时候,就会记录这个Executor的id和时间。

Worker如何知道Executor存活

Worker创建线程用来启动Executor进程的时候,这个线程创建完并不会直接退出,而是一直等待获取Executor进程的退出状态。

获取后就会把状态发送给Worker,Worker再把状态转发给Master,并更改自身的内存、CPU信息。

Master发现Executor执行完了(不管失败还是成功),就会更新内存信息,并且把状态转发给Driver。

Driver收到状态后,发现Executor执行完了,会发移除Executor的事件给事件总线。

心跳接收器会对总线的事件进行监听,当发现有Executor移除的时候,就会移除Executor。

Executor如何知道Worker存活

Executor有一个WorkerWatcher,当Worker进程退出、连接断开、网络出错时,就会被WorkerWatcher监听到,进而终止Executor的进程。

Driver如何知道Executor存活

Executor收到Drvier注册成功的消息后,就开始创建Executor对象,这个对象实例化后,就会开始对Driver的心跳请求,由于可能会多个Executor启动,所以为了避免同一时间请求过多,这里的延时时间会加一个随机值。

心跳接收器接收到心跳请求后,先看看这个Executor是否已经注册了,如果没有,让Executor重新注册,如果注册过了,则更新时间。

心跳接收器有一个定时任务,会扫描每个Executor最后上报的时间,如果Executor已经超过一定时间没有发心跳了,就会把这个Executor的信息从内存中移除,并且提交“杀死”Executor的任务。

这个任务最后会发送到ClientEndpoint,ClientEndpoint再转发给Master。

作者:大军原文地址:https://segmentfault.com/a/1190000042191866

%s 个评论

要回复文章请先登录注册