如何在执行spark streaming 执行过程中,增加executor数量
1个回答
2017-01-15
展开全部
如何在执行spark streaming 执行过程中,增加executor数量
客户端提交作业后启动Driver,Driver是park作业的Master。
每个作业包含多个Executor,每个Executor以线程的方式运行task,Spark Streaming至少包含一个receiver task。
Receiver接收数据后生成Block,并把BlockId汇报给Driver,然后备份到另外一个Executor上。
ReceiverTracker维护Reciver汇报的BlockId。
Driver定时启动JobGenerator,根据Dstream的关系生成逻辑RDD,然后创建Jobset,交给JobScheduler。
JobScheduler负责调度Jobset,交给DAGScheduler,DAGScheduler根据逻辑RDD,生成相应的Stages,每个stage包含一到多个task。
TaskScheduler负责把task调度到Executor上,并维护task的运行状态。
当tasks,stages,jobset完成后,单个batch才算完成。
客户端提交作业后启动Driver,Driver是park作业的Master。
每个作业包含多个Executor,每个Executor以线程的方式运行task,Spark Streaming至少包含一个receiver task。
Receiver接收数据后生成Block,并把BlockId汇报给Driver,然后备份到另外一个Executor上。
ReceiverTracker维护Reciver汇报的BlockId。
Driver定时启动JobGenerator,根据Dstream的关系生成逻辑RDD,然后创建Jobset,交给JobScheduler。
JobScheduler负责调度Jobset,交给DAGScheduler,DAGScheduler根据逻辑RDD,生成相应的Stages,每个stage包含一到多个task。
TaskScheduler负责把task调度到Executor上,并维护task的运行状态。
当tasks,stages,jobset完成后,单个batch才算完成。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询