V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ClericPy  ›  全部回复第 130 页 / 共 130 页
回复总数  2585
1 ... 121  122  123  124  125  126  127  128  129  130  
2019-06-01 10:41:22 +08:00
回复了 Alberte 创建的主题 程序员 爬虫遇到验证码问题
cdp 用的好的话, 直接拿到图片二进制数据, 解码出来去识别就行了吧, 又截图又切图的不费劲么... 甚至上面说的也没毛病, 拿到同样的请求(对 cdp 来说拿到请求体其实就能拿到流量了, 不该多此一举), 包括 cookie 什么的, 再次请求拿到的图片是同一个, 二次请求也可以
简单地说, 就是 chrome devtools protocol 了解一下, 开调试模式, 挂 websocket 截流量, 识别图片的验证码, 然后注入 js 来填写

不建议非测试工程师走 selenium, 个人意见...
目前的 cdp 的 Python 轮子因为不像 nodejs 那么适配 chrome 里的以事件导向的异步, 没有太多好轮子, pyppeteer 的协程差不多能实现, 不过我用的时候死在下载 chronium 上了... 就自己造了个简单同步的轮子(就是 block 主线程去等事件...)
2019-06-01 10:17:27 +08:00
回复了 fourstring 创建的主题 Python 关于 Ubuntu 下编译安装 Python 时 OpenSSL 库问题
3.7 和 3.6 以前的这个依赖不一样了, 既然都选择 Ubuntu 了, 使用
apt-get install python3.7-dev
就可以了
我给阿里云机器升级的 Ubuntu 18 用的这个方法, 反正 python3-dev 是不够用的
之前提的 shebang 的 issue, 好像一天就 fix... 真的好使

就是现在还有一个 feature request, 希望 showExecutionMessage==false 的情况下, 知道代码执行完毕
主要使用场景就是全选结果做它用, 有 Message 的时候全选有冗余消息, 没有的话又不知道什么时候代码是执行完了...
2018-07-24 19:10:17 +08:00
回复了 KeatingSmith 创建的主题 Python Flask 自带的服务器是怎样处理请求的?
就因为上面的问题, 用 chrome 多 tab 没法对同一个网站提高并发, 最后我是启动了多个 chrome user 才解开的, 求更好更优雅的操作 chrome 方式... cdp 爬虫还有很多小细节等待发现
2018-07-24 19:08:53 +08:00
回复了 KeatingSmith 创建的主题 Python Flask 自带的服务器是怎样处理请求的?
不要用浏览器测并发
浏览器尤其 chrome 会限制对同一个域名的连接... 刚开始学 python 的时候调了很久很久不知道为什么 gevent 开的 flask 就是没法同时打开多个网页... 结果用脚本测并发完全正常
2016-01-11 13:25:32 +08:00
回复了 larkifly 创建的主题 Python os x 环境下, python 如何获取到剪切板的内容?
pyperclip
1 ... 121  122  123  124  125  126  127  128  129  130  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2420 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 06:05 · PVG 14:05 · LAX 23:05 · JFK 02:05
Developed with CodeLauncher
♥ Do have faith in what you're doing.