ssllff123 最近的时间轴更新 ssllff123 最近的时间轴更新 |
ssllff123V2EX 第 155553 号会员，加入于 2016-01-15 12:17:25 +08:00 |
| 知乎免登录谷歌插件 分享创造 • ssllff123 • 2020-12-05 09:58:23 AM • 最后回复来自 abcd191898105 | 5 |
| celery+rabbitmq ，为什么不是在 celery 队列里面存 问与答 • ssllff123 • 2016-11-28 13:27:11 PM • 最后回复来自 ssllff123 | 3 |
| scrapy 如何多开 问与答 • ssllff123 • 2016-09-12 19:05:31 PM • 最后回复来自 ssllff123 | 6 |
ssllff123 最近回复了
2016-11-28 13:27:11 +08:00 回复了 ssllff123 创建的主题 › 问与答 › celery+rabbitmq ，为什么不是在 celery 队列里面存 |
我已经解决了，如果用 celery ， backend 不要用 rabbitmq ，因为， celery 会自动给每个任务的结果建立一个队列，所以队列越来越多，越来越多。
celery 确实不是队列，可能我的问题没有描述清楚。
celery 确实不是队列，可能我的问题没有描述清楚。
2016-10-17 09:26:27 +08:00 回复了 dongweiming 创建的主题 › 推广 › 赠送几本《Python Web 开发实战》 |
54 祝股票顺利
2016-10-10 14:56:50 +08:00 回复了 xdeng 创建的主题 › 程序员 › 你们都用什么来做爬虫的 |
2016-09-12 19:05:31 +08:00 回复了 ssllff123 创建的主题 › 问与答 › scrapy 如何多开 |
好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。
2016-09-09 09:37:11 +08:00 回复了 wangleineo 创建的主题 › 问与答 › 怎样设计一个分布式的爬虫服务？ |
@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中
2016-09-09 09:17:53 +08:00 回复了 oceantree 创建的主题 › 分享发现 › 手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫 |
@oceantree 能不能请教怎么处理的 js 啊
Select Language