队列中任务异常停止时不丢失， python 优雅实现？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2931 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，在队列中由一些任务，但是可能遇到一些状况，可能意料中的，可能意料外的，怎么保证异常停止时候，队列中的任务不丢失？

队列

意料

丢失

任务

9 条回复 • 2016-11-19 09:33:53 +08:00

julyclyde

2016-11-18 23:32:48 +08:00

那你用外部的队列呗
redis 或者 rabbitMQ
都是可以存盘的

ihuotui

2016-11-18 23:43:16 +08:00 via Android

思考数据库如何实现

ihuotui

2016-11-18 23:48:04 +08:00 via Android

像 java 的优雅关闭

reus

2016-11-19 00:00:31 +08:00

用外部数据库事务。

billlee

2016-11-19 00:34:20 +08:00

持久化到磁盘上

darrenfang

2016-11-19 08:12:59 +08:00 via iPhone

让队列提供这样的功能吧

yidinghe

2016-11-19 08:38:21 +08:00 via Android

出现异常时，再将任务丢回到队列？

lecher

2016-11-19 09:12:53 +08:00 via Android

用外部持久化方案，比如取任务时，将任务相关数据持久化并标识处理中，当超时未更新处理状态则认为此任务出现异常，重新回滚到任务队列。
也可以增加重试次数，任务超过限制次数仍然超时无法处理完，才确认为失败任务。

不想写也可以用类似参考阿里云的消息队列模型，取出来的消息有处理时间限制，会存放在处理中的队列，完成消息需要发送任务成功的标识，通知消息系统主动删除消息数据。
如果消息超时没有收到处理成功的请求，消息系统会主动回滚此消息到等待队列中。

ansheng

2016-11-19 09:33:53 +08:00

rabbitMQ 吧，只有任务执行完毕才会删除任务，不然不会删除。