这是一个创建于 2748 天前的主题，其中的信息可能已经有所发展或是发生改变。
100+万 IP，内外网都有，想批量验证状态(80 端口)，并写入文件(IP)。不用 nmap。Python 实现，能给个思路吗，如果是 Python 推荐哪些库(多进程+协程?requests?grequests?sock?Scapy?)；如果用 Golang ……弱弱的问一句 Golang 有优势吗?
这种需求是不是也属于爬虫范围?
谢谢！
这种需求是不是也属于爬虫范围?
谢谢！
 |
1
panyanyany 2017-05-22 19:45:09 +08:00
弱弱地问一句这 100+万 IP 哪来的啊……可用率有多少？
|
 |
2
golmic 2017-05-22 19:48:15 +08:00
scrapy
|
 |
3
popu111 2017-05-22 19:49:12 +08:00 via Android
Golang 的话 Goroutine 的实现简易度确实高得多，写这种简单的并发应用用 golang 是个相当棒的选择
|
 |
4
dongxiaozhuo 2017-05-22 19:56:09 +08:00 via iPhone
zmap ？
|
 |
5
YingJie OP @panyanyany 初略估计 10%
|
|
6
YingJie OP @dongxiaozhuo 尝试了，用不起来……
|
 |
7
aip 2017-05-22 21:00:44 +08:00
这个。。。关键难道不是带宽么？带宽足够的话，并发一万个进程。。。。
|
 |
9
nicoljiang 2017-05-23 20:32:05 +08:00
1、你用的 ADSL VPS 的网络质量和机器稳定性，以及 VPS 的数量；
2、反爬策略； 3、爬虫后端的数据处理能力。 以上是开玩笑的，真正的瓶颈就在能投入多少钱。 |
Select Language