这是一个创建于 3846 天前的主题，其中的信息可能已经有所发展或是发生改变。
单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....
 |
1
laoyuan 2015 年 7 月 19 日
看过一篇百度团队的文档，PHP 的真 multi curl
|
 |
2
chengzhoukun 2015 年 7 月 19 日 via Android
Python和go很好吧，用协程库
|
 |
3
shierji 2015 年 7 月 19 日
表示最近要爬google。。。。还要刻意限制速度的说。
|
 |
4
wkdhf233 2015 年 7 月 19 日
多开几个socket，先把所有请求发完再去处理返回
|
 |
5
msg7086 2015 年 7 月 19 日
php轻松实现多进程。
|
 |
6
haiyang416 2015 年 7 月 19 日 via Android
Rolling cURL。
|
 |
7
zts1993 2015 年 7 月 19 日 via iPhone
python更好。
|
 |
8
mahone3297 2015 年 7 月 19 日
php可以多进程
也可以多线程 http://php.net/manual/en/intro.pthreads.php |
 |
9
orvice 2015 年 7 月 19 日
多线程还是go写吧。。。
|
 |
10
Comdex 2015 年 7 月 19 日
golang很妥当
|
Select Language