推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
如何控制 scrapy 的 downloader 的并发量为 1（即 Requests 请求类似串行的效果）
Zioyi · 2017-05-28 09:43:19 +08:00 · 3764 次点击这是一个创建于 2770 天前的主题，其中的信息可能已经有所发展或是发生改变。
4 条回复 • 2017-06-05 17:01:47 +08:00
 |
1
Yc1992 2017-05-28 11:49:31 +08:00
current_request
settings 里面的这个选项设置的为 1 |
 |
2
Zioyi OP 感谢， 我试过了，没有打达到我的预期，难道是因为我自己写了 下载器中间件的缘故。
|
 |
3
wingor 2017-06-05 17:01:31 +08:00
CONCURRENT_REQUESTS
Default: 16 The maximum number of concurrent (ie. simultaneous) requests that will be performed by the Scrapy downloader. |
|
4
wingor 2017-06-05 17:01:47 +08:00
|
Select Language