spark streaming停止作业:
指令: ./bin/spark-class org.apache.spark.deploy.Client kill driverID
其中driver ID可以通过Master web UI在http://:8080 来进行查看。注意配置参数spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle
确保在kill任务时,能够处理完最后一批数据,再关闭程序,不会发生强制kill导致数据处理中断,没处理完的数据丢失storm停止作业:
指令:storm kill TopologyName 其中TopologyName是提交topology给storm集群的时候指定的名字。storm不会马上终止topology。相反,它会先终止所有的spout,让它们不再发射任何新的tuple, storm会等Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS秒之后才杀掉所有的工作进程。这会给topology足够的时间来完成所有我们执行storm kill命令的时候还没完成的tuple。