wget 怎么多进程下载列表文件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3631 天前的主题，其中的信息可能已经有所发展或是发生改变。

是这样的，爬了一堆图片的url，存在了一个列表list.txt里

直接使用wget -i list.txt，可以顺序地下载图片。可是我希望wget能够启动10个worker来完成这个列表的下载任务（每个图片不需要多线程），查了man没找到相关的选项，大家有什么解决方案吗?

wget

list.txt

列表

9 条回复 • 2014-12-23 11:29:22 +08:00

jackysc

2014-12-22 16:52:31 +08:00

用curl

line

2014-12-22 17:12:28 +08:00

之前，我都是分割文件，然后再下的。等更优方案

mogging

2014-12-22 17:25:13 +08:00

果断Axel啊

imn1

2014-12-22 17:51:04 +08:00

我是自写 python 多开 wget 进程
aria2c支持多线程，你可以改用aria2c下载

ToughGuy

2014-12-23 00:04:38 +08:00

ariac -c -sNUM -xNUM -jNUM -i url.txt

-j 参数是设置并发下载数量

ToughGuy

2014-12-23 00:06:14 +08:00

@ToughGuy

ariac 打错，应该是aria2c。
aria2c 绝对好用哦。

zwzmzd

2014-12-23 00:31:21 +08:00

@line
@imn1
@ToughGuy
aria2c满足要求，aria2c -i list.txt -j2，不过man中-j选项的解释有点模糊

@jackysc
@mogging
这两个软件我看了下好像不行

ToughGuy

2014-12-23 00:37:18 +08:00

@zwzmzd

Set maximum number of parallel downloads for every static (HTTP/FTP) URL

注意到 every static ... URL 就够明显了。

imn1

2014-12-23 11:29:22 +08:00

aria2c很强大，可以http/ftp/webservice/bittorrent
控制线程有两个参数，一个控制并发任务数，另一个控制每任务拆分的线程数（-j）
http://aria2.sourceforge.net/ 官网上有手册，应该比man容易理解些
aria2c可以写多个conf，用命令指定一个载入