有没有合理的算法可以动态调整爬虫的线程数量？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3406 天前的主题，其中的信息可能已经有所发展或是发生改变。

3 条回复 • 2015-08-02 11:40:15 +08:00

1

ryd994

2015-08-02 07:57:33 +08:00 via Android

spawn新线程前检查资源占用情况，占满则不动

2

kslr

2015-08-02 08:51:57 +08:00

为了什么要动态调整爬虫线程？先了解需求再说。

3

qw7692336

OP

2015-08-02 11:40:15 +08:00 via Android

@kslr
纯粹想最大化资源利用率

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 3186 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 24ms · UTC 13:34 · PVG 21:34 · LAX 05:34 · JFK 08:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.