V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  marcushbs  ›  全部回复第 8 页 / 共 12 页
回复总数  222
1  2  3  4  5  6  7  8  9  10 ... 12  
自己拍
grep -E "https?://[a-zA-Z0-9\.\/_&=@$%?~#-]*" urls.txt > u.txt
很好,已收藏
这会儿整一个 xml 的 storyboard 支持出来岂不是要火?
2018-12-04 18:24:35 +08:00
回复了 diveandwatch 创建的主题 职场话题 傻 X 年会,还得抓壮丁表演节目,傻 X
强人♂锁男
2018-12-03 14:18:22 +08:00
回复了 sagaxu 创建的主题 Python Python 爬虫改成 go,性能提高 5 倍?
用过 scrapy/portia/puppeteer,遇到的有效反爬机制有两种:
1. 封 IP
2. captcha
第一个只能用大规模部署的有独立 ip 的爬虫网络来解决,interval 的设置和数据存储 /合并需要有效调度;
第二个颇为复杂,取决于 captcha 的设计:简单的识图可以通过一些库甚至 ml 来解决(比如 V2EX 的登录认证码ε=ε=ε=┏(゜ロ゜;)┛); 12306 或者 google captcha 那种需要让人点选 9 张里 N 张甚至让人算个微积分的,可以用 headless chrome 的截图机制(甚至 copy/paste DOM 重现),另一头连通到类似 Amazon Mechanical Turk 人肉智能服务上,还要对正确率和审核手段做调整。

随着爬与反爬的不断斗争,针对 captcha 的工具库会不断增大和复杂,但新反爬模式总可以通过连接人肉服务解决
——综上,爬虫主要就是解决 1.分布式调度 2.和人肉服务的对接。至于单点性能,基本不算问题。
2018-11-30 16:38:01 +08:00
回复了 Continental 创建的主题 酷工作 大陆集团正在招募软件工程师
海报代码用的不是等线字体,没对齐,肯定不是程序员出的
2018-11-24 17:10:46 +08:00
回复了 marcushbs 创建的主题 程序员 语音听写单词 app,为什么所有智能音箱都没做呢?
@Newbing 说得太对了,看来做过
2018-11-23 16:15:35 +08:00
回复了 marcushbs 创建的主题 程序员 语音听写单词 app,为什么所有智能音箱都没做呢?
@XIAOAcao 我看介绍意思是:音箱听人说“苹果”,音箱说“ A P P L E"几个字母;顶楼里说的听人拼单词判定对不对也支持?
2018-11-23 15:40:49 +08:00
回复了 marcushbs 创建的主题 程序员 语音听写单词 app,为什么所有智能音箱都没做呢?
@XIAOAcao
···
技能使用说明:



1、直接说出想要查询的单词,中文或英文都可以:苹果、苹果的英语怎么说、苹果怎么拼

2、没听清可以说:重复一遍
···
这个 stt 模型还是通用的,和听写 letter 不一样
2018-11-23 15:38:25 +08:00
回复了 marcushbs 创建的主题 程序员 语音听写单词 app,为什么所有智能音箱都没做呢?
@wutiantong 有进展请这里通知一下啊!
2018-11-14 02:55:32 +08:00
回复了 viator42 创建的主题 Nintendo Switch 想入台 switch,发现这玩意其实没多少游戏可玩
@kappa 就是 marcushbs,我刚也加你了没有成功,sometimes 的出一次,过几个小时就能连了,还是网易的服务稳定
2018-11-13 14:59:19 +08:00
回复了 viator42 创建的主题 Nintendo Switch 想入台 switch,发现这玩意其实没多少游戏可玩
@kappa SW-0664-0117-2716 等晚上收工
2018-11-13 14:58:40 +08:00
回复了 viator42 创建的主题 Nintendo Switch 想入台 switch,发现这玩意其实没多少游戏可玩
@ssyyy 说的对,屏太差,只有阴雨天能在室外看清
2018-11-13 14:35:05 +08:00
回复了 viator42 创建的主题 Nintendo Switch 想入台 switch,发现这玩意其实没多少游戏可玩
@bullettrain1433 有什么能比得上一边大便,一边大秘境的快感呢?搁以前只能把马桶装在客厅里,老任干了件好事
2018-11-13 11:18:38 +08:00
回复了 viator42 创建的主题 Nintendo Switch 想入台 switch,发现这玩意其实没多少游戏可玩
暗黑 3 真香!
2018-11-09 04:23:04 +08:00
回复了 marcushbs 创建的主题 程序员 vmware 的 vmnat.exe 有个 http 长连接,干啥用的呢?
报告一下,虚拟机关了 10 分钟之后 tcp 连接彻底没了
2018-11-09 02:33:15 +08:00
回复了 marcushbs 创建的主题 程序员 vmware 的 vmnat.exe 有个 http 长连接,干啥用的呢?
@LGA1150 微软的 tcpview。tcp 穿透是可行的,虽然方法非常 trick
2018-11-09 00:52:19 +08:00
回复了 marcushbs 创建的主题 程序员 vmware 的 vmnat.exe 有个 http 长连接,干啥用的呢?
@ershiwo 没错,我是有个 win7 虚拟机专门装百度网盘和迅雷用的,明明都已经关了,vmware 这个回收资源写得有 bug 啊。

或者,百度网盘客户端用了 nat 穿透技术,让 nat 服务误以为连接还在——幸好有虚拟机!
2018-11-08 20:17:48 +08:00
回复了 marcushbs 创建的主题 程序员 vmware 的 vmnat.exe 有个 http 长连接,干啥用的呢?
@wwqgtxx 虚拟机关了,肯定不是
2018-10-28 19:36:55 +08:00
回复了 zenze 创建的主题 问与答 迫于公司年会要求正装,求推荐靠谱品牌。。。
boss,让你爱上正装
1  2  3  4  5  6  7  8  9  10 ... 12  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3945 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 05:14 · PVG 13:14 · LAX 22:14 · JFK 01:14
Developed with CodeLauncher
♥ Do have faith in what you're doing.