最近有个需求，抓取微信公众号文章，调研了一下。公众号抓取现在登陆之后还需要扫码才能进的去。退而其次，研究搜狗微信抓取，发现搜狗公众号页面也改版了，看以前的帖子在搜索之后的列表页直接就可以获取到微信公众号平台的链接，现在是还要请求搜狗的链接，之后给你返一段 js 代码，拼接出微信公众号平台的链接再页面重载一下才能进的去。我用 requests session 先请求列表页保存 cookie，请求那个链接还是跳转二维码验证界面。有没有大手子给点思路啊。。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2548 days ago, the information mentioned may be changed or developed.
 |
1
yangyaofei May 24, 2019
究极办法,android 虚拟机
|
 |
2
ErenJaeger OP @yangyaofei 靠，终于搞定了。。太坑爹竟然在 url 里面下毒。
|
|
3
yangyaofei May 24, 2019 via Android
感觉…人家随机改个参数…你就要重写…直接模拟才一劳永逸……
|
 |
4
smidayou May 25, 2019
反爬机制太恶心了 现在已经基本没戏了
|
 |
5
akaayy Sep 1, 2019
@ErenJaeger 兄弟能不能分享一下方法啊
|
Select Language