推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
求推荐一个Python的task queue / cron job系统
keakon · keakon · 2012-11-21 13:53:42 +08:00 · 8616 次点击这是一个创建于 4394 天前的主题，其中的信息可能已经有所发展或是发生改变。
大致需求如下：
Web server为Tornado，所以希望将一些操作发送到其他服务器，异步去处理。
操作不一定是立刻进行的，也许是设置了一个运行时间，到了才运行。
该服务器可以保存这些请求，故障或重启后可以恢复，那些过了运行时间但还未运行的也会继续运行。失败可以继续重试。
粗略看了下Celery，貌似符合，但是文档太多，没细看。
还看了下RQ，文档很可怜，貌似没定时功能。
最后看了下Beanstalkd，似乎更弱？
于是头大中，求推荐=。=
Web server为Tornado，所以希望将一些操作发送到其他服务器，异步去处理。
操作不一定是立刻进行的，也许是设置了一个运行时间，到了才运行。
该服务器可以保存这些请求，故障或重启后可以恢复，那些过了运行时间但还未运行的也会继续运行。失败可以继续重试。
粗略看了下Celery，貌似符合，但是文档太多，没细看。
还看了下RQ，文档很可怜，貌似没定时功能。
最后看了下Beanstalkd，似乎更弱？
于是头大中，求推荐=。=
 |
1
bhuztez 2012-11-21 13:56:29 +08:00
from mailbox import Maildir
|
 |
2
Nourl 2012-11-21 16:34:18 +08:00
zmq ?
比较难的是“故障或重启后可以恢复”. |
 |
3
Brutal 2012-11-21 16:35:51 +08:00
...Redis?
|
 |
4
jerry 2012-11-21 16:37:13 +08:00  1
一直用celery， 挺好的，很稳定，文档也很详细
|
 |
5
reorx 2012-11-21 16:53:57 +08:00 1
Celery 可以的，不过他的功能受 broker 的限制。根据我的使用经历，RabbitMQ 和 Redis 作为 broker 可以满足楼主的需要，RabbitMQ 可以配置故障时数据落地，Redis 基本也不用担心数据丢失的问题。Celery 自身就有让任务失败重试的功能，具体操作楼主可以研究下文档：
http://docs.celeryproject.org/en/latest/userguide/tasks.html#retrying 其他的 brokers 没怎么用过，不过数据库是不被推荐的。 |
 |
6
dafang 2012-11-22 17:44:43 +08:00 1
赞同@reorx，目前的系统正在用，同样是RabbitMQ和Redis做为broker。Redis用于收集任务结果，解决了RabbitMQ一个task result一个queue的问题。
|
 |
8
est 2012-11-22 19:39:43 +08:00 1
uwsgi 就可以做到大家所说的一切功能。过几天写个博客出来~~~
|
 |
9
Livid MOD 定时运行这个貌似可以通过 Tornado 的 ioloop 来实现定时发送任务。
至于其他要求，RQ 都可以满足。 |
 |
11
zyAndroid 2012-11-22 20:49:52 +08:00
我司在用celery，还不错
|
 |
12
BigZ 2012-11-22 22:25:09 +08:00
建议你用mysql做，定时执行只需要加个crontab 脚本
简单可靠 |
Select Language