V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  greatghoul  ›  全部回复第 66 页 / 共 114 页
回复总数  2261
1 ... 62  63  64  65  66  67  68  69  70  71 ... 114  
2016-09-17 09:58:54 +08:00
回复了 jybox 创建的主题 职场话题 关于刷月饼事件我来唱点反调
本来写了一堆回复,但想了想,作者的价值观和我的不符嘛,那还说个什么,干脆 block 了。
2016-09-15 18:33:00 +08:00
回复了 wl879 创建的主题 分享发现 给质疑有阅读障碍,分享一款好用的 chrome 插件
开源的吗?正在写一个类似的,不过明显你这个更好。
2016-09-15 18:03:26 +08:00
回复了 doubleflower 创建的主题 奇思妙想 最近在写爬虫,发现一个干死 99.9999%爬虫的办法
现在很多网站都是 js 动态渲染的,传统的发 request 的爬虫根本占不到 90.99999%,现在好多爬虫都是直接跑的 phantomjs ,还有跑在 Chrome Extension 上面的,那些弱鸡的规则压根不顶用,甚至还有直接截屏 ocr 的。。。

楼主你还停留在上个时代。
2016-09-15 17:56:07 +08:00
回复了 doubleflower 创建的主题 奇思妙想 最近在写爬虫,发现一个干死 99.9999%爬虫的办法
@doubleflower 那处理无限 header 呢?这总不能 stream 了吧。

都不用处理

httplib.IncompleteRead: IncompleteRead(0 bytes read)

curl 都会很快中断,还别说专门写爬虫了。
2016-09-15 17:45:30 +08:00
回复了 doubleflower 创建的主题 奇思妙想 最近在写爬虫,发现一个干死 99.9999%爬虫的办法
@doubleflower 你这规则也太简单了
2016-09-15 17:38:07 +08:00
回复了 whahuzhihao 创建的主题 程序员 freelancer 凭空扣了我的钱
2016-09-15 17:29:52 +08:00
回复了 doubleflower 创建的主题 奇思妙想 最近在写爬虫,发现一个干死 99.9999%爬虫的办法
kill 掉爬虫非常简单呀

https://gist.github.com/greatghoul/7352ba71134cf9079eb5e049c235cd64

楼主你写的爬虫太烂了。。

另外你的链接不可见,总要写在源码里面吧,人家分析你网站的时候要是觉察不出来那还写的什么爬虫,就算你随机返回,人家爬虫多测试几次就知道了,针对你的伎俩,分分钟就有应对策略了。

还什么超大响应,你不知道有 chunk 和 stream 这种东西吗?你以为那些抓取电影资源的爬虫都是把整部电影读进内存里面吗?
2016-09-15 16:48:26 +08:00
回复了 doubleflower 创建的主题 奇思妙想 最近在写爬虫,发现一个干死 99.9999%爬虫的办法
> 在网站的页面里随机插入坏链接

牺牲用户体验

> 或在检测到是爬虫时,返回无限大响应的请求

一般写爬虫超时,或者超量,就有机制自动 kill 掉了

最寂寞的就是写了一堆反爬虫的策略,发现都没有生效过,没人来爬。。。
为楼主点赞。
2016-09-14 21:33:29 +08:00
回复了 beimenjun 创建的主题 Overwatch 问:《守望先锋》国服会不会死于外挂?
《守望前线》
《攻略先锋》
《。。。》

一大批新作会冒出来,可以换妆,还可以带宠物,可以装扮基地, xxxx
2016-09-13 10:31:59 +08:00
回复了 jadecoder 创建的主题 Android 终于对 Android 绝望了,再铁粉也忍不了国内的应用环境
android 挺好的
2016-09-12 10:53:39 +08:00
回复了 livedutvchina 创建的主题 Java 你们是几岁开始学习编程的?
在小霸王学习机上开始的。
2016-09-12 09:40:29 +08:00
回复了 miketeam 创建的主题 问与答 想离职然后在家工作...
远程工作还是组团比较靠谱,一个人的话,确实会比较累。
2016-09-12 09:16:48 +08:00
回复了 kingcos 创建的主题 问与答 不懂得那些酒桌上习俗,会在社会上吃亏吗?
说自己肝不好,医生说不让喝酒。
2016-09-12 09:00:53 +08:00
回复了 miketeam 创建的主题 问与答 想离职然后在家工作...
想要做远程,都要准备什么
http://yizaoyiwan.com/discussions/952
2016-09-11 21:45:51 +08:00
回复了 lxyyzm 创建的主题 分享创造 谁的天气 app 敢说比我这个还简洁?
我也比较喜欢百度的这个天气,不用额外安装什么 app ,想查时搜索一下就行。
2016-09-10 14:08:32 +08:00
回复了 tearsofscorpio 创建的主题 电影 小伙伴们经常会重复看的电影有哪些
玉女心经
程序员晕倒可以急救
2016-09-09 19:42:39 +08:00
回复了 tedd 创建的主题 问与答 长时间坐在懒人沙发上写代码舒服不?
不舒服
1 ... 62  63  64  65  66  67  68  69  70  71 ... 114  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1986 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 44ms · UTC 11:44 · PVG 19:44 · LAX 04:44 · JFK 07:44
Developed with CodeLauncher
♥ Do have faith in what you're doing.