这个是需要抓取的内容
这个是在网页源码中看到的内容,但是没有数据
但是通过浏览器的审查元素功能能看到数据。
请问通过什么方法可以获得数据?
这个是网页的链接: http://v.youku.com/v_show/id_XMTI1ODc5MjU2NA==.html?from=s1.8-1-1.1#comment
谢谢
1
cyberdak 2015-09-21 14:35:27 +08:00
js 加载出来的数据
只能找 js 的加载数据了 |
2
Tink 2015-09-21 14:35:59 +08:00
优酷不是有 api 吗??
|
3
Tink 2015-09-21 14:37:39 +08:00
|
6
gongpeione 2015-09-21 14:47:26 +08:00
看看 PhantomJS
|
7
JhOOOn OP @gongpeione 谢谢,对 js 不是很懂,有思路就好办了。
|
8
jadecoder 2015-09-21 16:36:55 +08:00
最简单的办法是找到那个 ajax 请求,可以抓 http 包。例如播放数应该是这个
http://v.youku.com/QVideo/~ajax/getVideoPlayInfo?__rt=1&__ro=&id=314698141&sid=299011&type=vv&catid=97 但是量大了之后会触发反爬虫机制,那就是另外一个课题了 |
9
gamexg 2015-09-21 17:38:22 +08:00
F12 网络, F5 刷新,里面总有一个有数据。
|
10
lxy 2015-09-21 17:46:59 +08:00
在审查元素的 Network 标签下开启 Filter ,查看 XHR 下的 Preview 或 Response 内容,一般有对应数据的就是了。
|
11
LINAICAI 2015-09-21 17:54:48 +08:00
优酷开放平台有啊。
|
12
em70 2015-09-21 17:56:57 +08:00 via Android
嗅探接口去,看接口规则,用页面里的数据去向接口请求
|
13
JhOOOn OP |