增加爬虫爬取速度的方式叫并行还是并发呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3007 天前的主题，其中的信息可能已经有所发展或是发生改变。

问大家个问题，增加爬虫爬取速度的方法是并行呢还是并发呢？这两者有什么区别吗？

7 条回复 • 2016-09-04 22:22:23 +08:00

huntzhan

2016-09-03 21:13:53 +08:00

metrue

2016-09-03 21:34:18 +08:00 via Android

并发是思想，并行是实现。

visionsmile

2016-09-03 21:39:35 +08:00

摘自 CSAPP ：并发是一个通用的概念，指一个同时具有多个活动的系统；而并行，指的是用并发使一个系统运行的更快。并行可以在计算系统的多个抽象层次上运用。

kindjeff

2016-09-03 21:48:35 +08:00

并行是指物理上的同时发生，并发是指一段时间内的同时发生（逻辑上的同时发生）—— BY 我的操作系统老师。如果这个定义是对的，那么爬虫由你 CPU 的四个核同时处理的四线程是并行；在一个线程等待 IO 时另一个线程占据了资源这两者是并发。

laoyuan

2016-09-04 10:01:57 +08:00

应该是并发吧， CPU 个数就那么多，但你同时可以发起 100 个网络请求

hujianxin

2016-09-04 11:12:38 +08:00

@laoyuan 好像是这么个意思，我昨天晚上想到两点，查各种博客，稍微有点感觉了。

petelin

2016-09-04 22:22:23 +08:00 via Android

并行是赛车，并发是流水线洗车，完了。