1
linhua 2019-05-22 11:03:31 +08:00
puppeteer
|
2
leebx 2019-05-22 11:05:53 +08:00
1. 很多 js 反爬 ,selenium 是解决不了的,大多需要剖析 js,执行 js 代码才能得到有效参数
2. 各种加密算法,url 中拼接的某些参数是底层算法搞出来的 |
3
linvaux 2019-05-22 11:07:09 +08:00 via Android
脱裤啊
|
4
mytry 2019-05-22 11:08:01 +08:00
JS 爬虫和 Python 有什么关系
|
5
tikazyq 2019-05-22 11:35:00 +08:00
还有 puppeteer,也是调用 chrome 来执行 js,但是对用户比较友好。顺便介绍一下爬虫平台 Crawlab,兼容任何框架任何语言的爬虫平台,http://github.com/tikazyq/crawlab
|
6
dongya 2019-05-22 11:52:17 +08:00
存在 js 反爬也有很多情况呀, 内容加密,token 生成啥的, 你的是哪种啊
|
7
lusi1990 2019-05-22 12:31:10 +08:00 via Android
也有反 selenium 的
|
8
danmu17 2019-05-22 18:52:44 +08:00
大部分的 js 反爬都可以通过 python 运行 js 来解决,
不过会提这种低质量的问题, 多半也不会这些基本的东西。 |
11
huaerxiela6 2019-05-25 05:32:31 +08:00 via Android
cookie 加密一般来说相较与参数加密,更难找到入口点,需要很多的调试技巧,比如有时需要 hook,hook 不住的时候如何处理等等,我简书 https://www.jianshu.com/nb/14730171 的几个例子就是基于 nodejs 实现的,如何用 py 运行,只是一个调用方式的问题,不行的话还可以用 node 封装接口,重要的是如何模拟加 /解密
|