V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qsnow6  ›  全部回复第 73 页 / 共 87 页
回复总数  1730
1 ... 69  70  71  72  73  74  75  76  77  78 ... 87  
2018-01-08 00:16:26 +08:00
回复了 cchange 创建的主题 问与答 如何离线 MSDN? 求别喷 在网络隔离的地方使用
2017 不是有离线文档么
2018-01-06 14:43:33 +08:00
回复了 tangzx 创建的主题 分享创造 chnroutes 在线版
@binux 这个现在有解决方案么
2018-01-06 01:05:20 +08:00
回复了 piaochen0 创建的主题 云计算 海外云主机,有没有性价比比较高的?
@ZE3kr #10
好用
2018-01-06 00:53:40 +08:00
回复了 xiaottt 创建的主题 深圳 2018 年房价走势预计会如何?
信大嘴强
2018-01-05 10:37:05 +08:00
回复了 Livid 创建的主题 Python pyenv 入门介绍
习惯用 pyenv 吧,自带的 venv 没有太多资料,用不习惯
2018-01-04 21:45:42 +08:00
回复了 maplesog 创建的主题 问与答 我就好奇问一下,有多少公司是春节法定假日前放假的?
提前 6 天
2018-01-04 19:10:18 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
2018-01-04 18:35:42 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
加钱买多点代理就行了
2018-01-04 15:16:11 +08:00
回复了 chinjanry 创建的主题 Python 为什么现在爬虫这么火?且偏偏是 Python 的爬虫这么火?
import requests

response = requests.get("http://www.baidu.com")
print(response.text)
2018-01-04 14:55:13 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
给个参考值,scrapy 单进程可以达到 7200 pages/min
2018-01-04 14:28:05 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
@Nick2VIPUser 不是带宽限制,应该是切换线程的问题;

多线程跑的话,一般情况下 10-12 左右是最快的,更增加更多的线程速度反而会下降。
2018-01-04 14:18:20 +08:00
回复了 Nick2VIPUser 创建的主题 程序员 (请教)如何提高爬虫的效率/采集速度
百万级应该没啥问题啊,大部分时间都是在网络耗时上面。
不过,切换线程是有开销的,如果想进一步提升性能的话,建议用异步 or 协程。
2018-01-04 10:12:53 +08:00
回复了 frozenway 创建的主题 PHP 有没有永远不会卡顿的浏览器推荐
wget 不行吗
卧底
1 ... 69  70  71  72  73  74  75  76  77  78 ... 87  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4868 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 55ms · UTC 01:17 · PVG 09:17 · LAX 18:17 · JFK 21:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.