博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark streaming和storm停止作业
阅读量:7116 次
发布时间:2019-06-28

本文共 557 字,大约阅读时间需要 1 分钟。

hot3.png

spark streaming停止作业:

指令: ./bin/spark-class org.apache.spark.deploy.Client kill driverID

其中driver ID可以通过Master web UI在http://:8080 来进行查看。

注意配置参数spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle

确保在kill任务时,能够处理完最后一批数据,再关闭程序,不会发生强制kill导致数据处理中断,没处理完的数据丢失

storm停止作业:

指令:storm kill TopologyName 
其中TopologyName是提交topology给storm集群的时候指定的名字。

storm不会马上终止topology。相反,它会先终止所有的spout,让它们不再发射任何新的tuple, storm会等Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS秒之后才杀掉所有的工作进程。这会给topology足够的时间来完成所有我们执行storm kill命令的时候还没完成的tuple。

 

转载于:https://my.oschina.net/u/2000675/blog/868412

你可能感兴趣的文章
SQL Server 分组操作解析
查看>>
Spring集成RabbitMQ-使用RabbitMQ更方便
查看>>
找硬币
查看>>
bzoj3190[JLOI2013]赛车
查看>>
bzoj4716假摔
查看>>
object-c中数组的排序
查看>>
Es6学习笔记
查看>>
数据库笔记整理——数据库连接(思维导图式)
查看>>
WinForm中如何实现在容器控件中嵌入form窗体(panel与子窗体)
查看>>
正则表达式(百度上找的)
查看>>
php课程---初学练习
查看>>
#题目:GCD XOR UVA - 12716
查看>>
制作PC端的安装程序
查看>>
1.12.4版本发布
查看>>
C#第六节课
查看>>
Jmeter 学习imooc
查看>>
LeetCode算法题-Backspace String Compare(Java实现)
查看>>
egret GUI 文本混排+文本链接的聊天解决方案【取巧法】
查看>>
Thingworx新建Thing的数据库表变化
查看>>
TP为什么这个if判断什么都不显示?
查看>>