V2EX › 2ME 的所有回复 › 第 5 页 / 共 12 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 12

❮

❯

2018-01-04 17:48:00 +08:00

回复了 Nick2VIPUser 创建的主题 › 程序员 › （请教）如何提高爬虫的效率/采集速度

@Nick2VIPUser 你 debug 一下基本就会发现绝大多数时间都浪费在超时了即使是小水管都够呛能跑满带宽

2018-01-04 17:44:33 +08:00

回复了 Nick2VIPUser 创建的主题 › 程序员 › （请教）如何提高爬虫的效率/采集速度

@Nick2VIPUser 那就是你代理 ip 质量太差了加钱数据可及 readtimeout 频繁每天抓 6-8 万很正常了

2018-01-04 15:07:31 +08:00

回复了 Nick2VIPUser 创建的主题 › 程序员 › （请教）如何提高爬虫的效率/采集速度

你服务器如果不是小水管的话你爬的是大文本吗? 大文本的话主要是 IO 影响效率和线程关系并不大还有你 1 条记录需要爬取几个页面以及你的 IP 池质量如何如果是 1 个页面并且爬取目标不是大文本，ip 池质量优异的话这个速度可能慢了点如果你为了对抗反爬虫 sleep 的时间比较久还是正常的

2018-01-03 11:54:49 +08:00

回复了 frozenway 创建的主题 › PHP › 有没有永远不会卡顿的浏览器推荐

win 下就直接用计划任务就好了阿定时执行 php 脚本

2017-12-26 09:47:57 +08:00

回复了 monway 创建的主题 › 数据库 › 求教 V 友一个关于大量数据导入及查询的问题

txt 分割分割的区块拼接 sql 直接批量插进去速度挺快的确实是单机 mysql 随便搞

2017-12-22 11:10:29 +08:00

回复了 2ME 创建的主题 › 程序员 › PHP cURL - Empty reply from server

@Lax 上面的图是 tracert ip 的结果然后报错并不规律不稳定 = = 我现在去看看抓包

2017-12-21 13:29:18 +08:00

回复了 41547Caesar 创建的主题 › 分享发现 › 移动 100M 全国流量+全网 100M 流量免费领

https://i.loli.net/2017/12/21/5a3b461b4843b.jpg

正好流量用光了试了试然而并不能兑换移动 100M 还玩套路无话可说..

2017-12-21 10:59:48 +08:00

回复了 Ljungqvist 创建的主题 › 问与答 › 为什么某宝上没有散装笔记本 CPU（Intel u 系列）卖？

MQ 系列的可拆卸可以看看 4 系 i7

2017-12-20 09:26:17 +08:00

回复了 Va1n3R 创建的主题 › Python › CURDboy 问问各位,mysql 怎么多线程 insert 数据啊...

不懂 py .. 不过你这么搞肯定有问题线程开太高 mysql 最大连接数会有问题就算连得上你 IO 还是会有问题和#18 说的一样你开多线程不一定有拼接 sql 批量插入来的实在

2017-12-19 13:18:17 +08:00

回复了 2ME 创建的主题 › 全球工单系统 › 企鹅安全中心开倒车下线 web 端功能

@sxlzll 自己看 24 楼行吧截全也就这样了不要恶意揣测

2017-12-19 08:40:14 +08:00

回复了 2ME 创建的主题 › 全球工单系统 › 企鹅安全中心开倒车下线 web 端功能

@ruimz
@a0000
你们点跳过之后再去点查看登录记录你看还弹不弹..

2017-12-18 22:01:02 +08:00

回复了 2ME 创建的主题 › 全球工单系统 › 企鹅安全中心开倒车下线 web 端功能

@xqin 可以只能暂时先用这个了

2017-12-18 14:17:41 +08:00

回复了 noe132 创建的主题 › Python › 寻找爬虫外包，爬取各个招聘网站的职位数据

大工程不过有人之前做过的把源码 copy 给你一份维护的时候算你一份赚一个项目的钱还是美滋滋的维护期太久一般没人愿意接这些大厂反爬策略更新还是挺频繁的

2017-12-14 16:54:14 +08:00

回复了 CoSpLi 创建的主题 › 云计算 › 看了眼隔壁贴，想问下 1h1G1M 的小服务器， tomcat+nginx+mysql 够么

@CoSpLi nginx 内存占用并不多 mysql 装 5.6 以下的版本禁用 innodb 也是占用不了多少 tomcat 有点无解 .. 我 lnmp 一套下来内存消耗大概 150M 512M 的 vps = =

2017-12-12 10:53:08 +08:00

回复了 LokiSharp 创建的主题 › 全球工单系统 › 淘宝的大数据又把数码荔枝给封了？阿里的人工智障错了还不让申诉的么？专注于打击正版？

人工智障大数据 .. 满淘宝一两百块的 yeezy、EQT、boost 而且还刷单闭着眼都能看出来是假货没见封店封卖奥莱折扣品的一个接一个.. 不到很懂前阵子搞运动服饰鞋子的哀鸿遍野

2017-12-07 10:53:28 +08:00

回复了 2ME 创建的主题 › 程序员 › BWG KVM 装 bbr 的时候提示 VPS 是 OpenVZ 无法安装

@msg7086 我还是觉得应该不会错的.. 记得点的是 order KVM - - 阴差阳错成了 OpenVZ 付款的时候也没注意不过后台确实是 KiwiVM 被我认为成了 kvm

2017-12-07 10:38:32 +08:00

回复了 2ME 创建的主题 › 程序员 › BWG KVM 装 bbr 的时候提示 VPS 是 OpenVZ 无法安装

@sunflyer 看到 19.99 补货了就买来折腾一下.. 激发自己学 linux 的热情 - -

1 2 3 4 5 6 7 8 9 10 ... 12

❮

❯