同时抓取 10 个网站的网页，是用 multithread 还是 multiprocess？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3781 天前的主题，其中的信息可能已经有所发展或是发生改变。

循环10次太慢了，我想同时进行,我也知道multithread有GIL锁,所以multiprocess貌似是不错选择？
我还听说过一些其他高并发项目,如：gevent、stackless、pypy,这些和官方多进程有何区别？

stackless

gevent

抓取

11 条回复 • 2014-07-25 11:25:11 +08:00

wy315700

2014-07-24 20:51:05 +08:00

multiprocess + pool 比较好

multithread + gevent也可以

heiher

2014-07-24 21:02:07 +08:00 via iPhone

线程用来使用cpu资源的，像这种基本就是I/O为主，使用异步I/O不就好了。

binux

2014-07-24 21:14:00 +08:00

GIL锁是锁语句执行的，IO等待又不会被锁

bigdude

2014-07-24 21:44:12 +08:00

gevent

ffffwh

2014-07-24 22:32:23 +08:00

异步+1

xavierskip

2014-07-24 22:40:05 +08:00

我之前测试的时候，threading比gevent快耶。

pandada8

2014-07-24 23:54:48 +08:00 via Android

处理速度永远大于你的抓取速度

withrock

2014-07-25 08:57:21 +08:00

我之前写过抓取糗事百科的虫，我的CPU有4个核，用threading的话，CPU的使用率不会超过25%。

Zuckonit

2014-07-25 09:31:41 +08:00

gevent吧

kingxsp

2014-07-25 10:10:44 +08:00

gevent 或者 asyncio

lianghui

2014-07-25 11:25:11 +08:00

prefork span with multithread