curl 抓取问题

This topic created in 4310 days ago, the information mentioned may be changed or developed.

curl可以抓取用了js延迟加载的页面全部内容么

5 replies • 2014-09-06 23:09:47 +08:00

lizhijun

Sep 6, 2014

不行。
用python+scrapy吧。

Nintendov

Sep 6, 2014

@lizhijun 没接触过这个啊，它也可以模拟用户操作么

ultimate010

Sep 6, 2014

splinter完全调用浏览器，scrapy也不能执行js吧。
建议python + request +lxml，相当方便。

Nintendov

Sep 6, 2014

@ultimate010 又一个没接触过的，我去查资料学习TAT

RemRain

Sep 6, 2014 via iPhone

上 phantomjs，WebKit 内核，完美执行 js