我倒是也出现过这些没用的东西, 但是你这也太多了吧, 不知道是不是我关了那个 "套娃用户协议" 里面的广告的原因, 最近已经快一个月没见这些推荐了

面对 "没有人比他更懂产品" 的这个东西, 我只能六字真言了, 大多数想看的东西, 稍微官方一点的基本都有 RSS, 没有 RSS 我也有爬虫自己转, 只有公众号的那种订阅源不看也罢, 至于爬它, 之前工作爬了 3 年, 太费劲懒得折腾了

@RandomAccess
一样是一个事件循环来解决的, 先后顺序的阻塞用 await 或者协程队列都行
非要多线程或者非协程的, 走 run_in_executor

@wersonliu9527 匿名函数或者闭包函数确实在 console 里或者 window 对象里拿不到, 所以才建议的直接 cdp 上拦截流量替换 js 文件做注入... 调试模式断点那些东西要对 js 对象做操作, 又要找 node 又要找代码 ID, 挺折腾的

@tisswb
我从 Sublime 到 VSC 也是舍不得买那个授权... Pycharm 社区版我记得挺不错的, 我是嫌他启动太慢而且快捷键之类的定制化不太灵活, 直接无缝从 Sublime Text 转的 vscode

@RandomAccess
时间循环尽可能只用一个, 就算协程用的很熟悉的人, 也很少去多个线程上跑多个 loop
所以 Python 3.9 还是 3.10 之后, 很多内置的协程方法都去掉了 loop 参数, 默认都从 running loop 里面获取

你要做的是, 首先保证整个程序只留有一个事件循环(因为多个也没有意义, await 不是阻塞, 是等待), 然后在里面传递 session 对象就是合法的了

然后你说的阻塞, 协程实际上是非阻塞的设计, 你的阻塞可能是 await 关键词, 那个是等待不算阻塞. 所以你如果想并发开始多个任务, 可以把 "协程函数" (async def 声明的)执行获得的 "协程对象" 创建为 Task, 它就会开始执行但是又不会阻塞, 创建 Task 的方式有 asyncio.ensure_future(some_coro) 或者 asyncio.create_task(coro), 后者是 3.7 以后新增的

class TimerContext(BaseTimerContext):
""" Low resolution timeout context manager """

def __init__(self, loop: asyncio.AbstractEventLoop) -> None:
raise RuntimeError(
"Timeout context manager should be used " "inside a task"
)


老问题了, 所以我现在用到 aiohttp 尽量不用 asyncio.run, 因为它一定新建一个 loop, 然而 Session 的默认 Timeout 对象却是在协程外面初始化的, 导致两个循环不一致, 见下面源码

https://github.com/aio-libs/aiohttp/blob/742a8b6d09b2623670ddede838c913d2a8a4d89e/aiohttp/client.py#L161

据说 aiohttp 4.0 以后会好, 但是 4.0 一直发不出来

想解决的话, 简单的就是暂时别用 asyncio.run. 或者在协程函数里 import 它, 或者手动指定 Timeout 试试

第二次见这种需求, 上次还是去年面试...
cdp 里面可以直接跳到 Debugger.Location 然后做一些其他事情, 不过如果拿到 js 流量, 直接正则里面代码不好么, 随便注入点什么

@androllen 我是没法切换了, 以前在 Sublime 养成的键位习惯, 肌肉记忆根深蒂固了

想起我抢红米 K30S 那段时光... 伤害不高 侮辱性极强 [doug]

说谎不是一个好习惯, 因为不是每个人都能在大脑里构建 28 维平行宇宙来模拟事物发展的

如果一些人把说谎当作智商, 那不说谎把问题解决就是智慧了

30 岁以前打打球或者换个压力不大的工作

30 以后褪黑素算了, 之前吃过 2 天, 吃的时候效果很好, 之后发现不是失眠就是不困, 调整作息时间就恢复了

定时 3-4 点被吵醒这是给吵出生物钟来了, 就跟我午睡 15 分钟就醒养成习惯以后, 晚上睡觉会先睡 15 分钟惊醒一次, 然后才能睡着. 很惨的

https://github.com/pyppeteer/pyppeteer 从 https://github.com/miyakogi/pyppeteer 个人项目迁移到组织维护了, 实际上是保持更新的, 已经基本算是准官方的 Google puppeteer Python 移植了, 社区维护热度比较高, 三周前有代码更新, 没有长期不更新一说

与之相对应的主流选择就是微软从 https://github.com/microsoft/playwright 移植过来的 https://github.com/microsoft/playwright-python playwright 是微软开发的类似 puppeteer 的一套脚手架, 除了 Blink 内核的浏览器, 好像还有火狐等其他内核

以上两者都是正规军入场生态比较完善的选择

selenium 拿来写爬虫是因为培训班软文较多, 看看就算了

至于楼主提到的博客, 实际上就是应付面试出的快餐产物, 里面提到的 ichrome 其实是在上班时候自己摸索 CDP (2017 年也没有轮子可选) 做过的代码重构成框架来用的, 目前在新工作里面上生产环境发现了很多 bug, 虽然基本都修复了, 但是底层架构的设计层面都不成熟, 目前拿来做一些不太复杂的小项目没什么问题

总之一句话概括 CDP 就是通过 Websocket 给开启远程调试接口的 Chrome 进程发送指令进行操作标签的协议, 所有返回结果或者事件也可以在 WS 里收到, 至于用哪个轮子都无所谓

@frostming 回顾了前面几次 Release, 都没有这种突发性的 enhancement. 白切换了一大堆 IntelliSense 插件... pylance 默认跳 pyi 的有没有办法解决啊, 每次都要选第二个, 有点麻烦

windows 上使用 pyw 扩展名或者说使用 pythonw 来执行脚本, 不知道 mac 上有没有

记得之前看过这种帖子... 一楼回的是: 我把老板开了. 反正我是没这种魄力 [doge]

@oldbird 没懂你说的具体是什么... 举个例子? 我打印的直接丢 HTML 里就是中文俩字

[Running] python2 -u "demo.py"
中文

# -*- coding: utf-8 -*-

from html import escape

print(escape(u'中文').encode('ascii', 'xmlcharrefreplace').decode('u8'))

python - Convert HTML entities to Unicode and vice versa - Stack Overflow - https://stackoverflow.com/questions/701704/convert-html-entities-to-unicode-and-vice-versa

感觉更接近协同办公相关的东西... google suites, zoho, office365 什么的, 如果数据敏感到不能联外网, 避免并发写的场景一般没什么大问题, 外网访问的 NAS 的话, 安全问题还是挺需要注意的, 尤其是不像协同办公软件那样可以记录谁在访问, 谁做了修改等一系列权限控制