爬虫获取网页所要加载的资源

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2394 天前的主题，其中的信息可能已经有所发展或是发生改变。

我在爬一个网页，但是他的网页加载的 json 的地址，用 js 加密了我没办法模仿......只能用 selenium 模仿访问这个网页，但是我怎么才能知道我在访问这个网页的时候加载的这个 json 的内容，或者得到这个 json 的生成的地址.......

3 条回复 • 2017-10-20 17:02:43 +08:00

artandlol

2017-10-20 16:30:14 +08:00 via Android

wget 整站下载，就一条命令

miniliuke

2017-10-20 16:37:43 +08:00

@artandlol 但是这个 json 的地址应该是 js 生成的，完全模拟浏览器才可以

miniliuke

2017-10-20 17:02:43 +08:00

好像找到了解决方案，PhantomJS 里有相关的 api......