V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
assiadamo
V2EX  ›  问与答

如何抓取瀑布流式布局的网页全文?

  •  
  •   assiadamo · 2014-11-25 16:08:26 +08:00 · 4172 次点击
    这是一个创建于 2621 天前的主题,其中的信息可能已经有所发展或是发生改变。
    举个栗子,googleplay在加载时只加载一部分,剩下的要把滚动条脱到低端才会显示出来,现在要写程序来获取全部加载完的字符串,HtmlUnit和phantomjs都用了下,感觉不是很简单,可能对这两者还是研究的不够透彻,请问各位有什么基于这两种或者是其他更好的方法吗?
    10 条回复    2014-11-26 12:56:00 +08:00
    williamwu
        1
    williamwu  
       2014-11-25 16:15:16 +08:00
    crab
        2
    crab  
       2014-11-25 16:23:10 +08:00
    googleplay 可以直接post请求(指定开始页,多少页数。)
    icedx
        3
    icedx  
       2014-11-25 16:23:58 +08:00
    你俩是干啥
    assiadamo
        4
    assiadamo  
    OP
       2014-11-25 16:24:06 +08:00
    @williamwu 这个很简单,你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊,文章标题都会有相同的class吧,通过class可以获取url
    assiadamo
        5
    assiadamo  
    OP
       2014-11-25 16:25:16 +08:00
    @crab 我找到了post,但是response没有带样式看不出来。。
    abelyao
        6
    abelyao  
       2014-11-25 16:48:26 +08:00
    直接用正则表达式匹配 response 中你要的内容。
    我的站就是滚动无限加载的图片站,莫非楼主要抓我的…
    learnshare
        7
    learnshare  
       2014-11-25 16:52:40 +08:00
    直接抓 API 地址
    halfcrazy
        8
    halfcrazy  
       2014-11-25 16:55:27 +08:00
    分析js找接口
    cdxem713
        9
    cdxem713  
       2014-11-25 20:55:44 +08:00 via iPhone
    直接对api发请求就好了,这类异步网站都可以
    tingsoft
        10
    tingsoft  
       2014-11-26 12:56:00 +08:00
    @cdxem713 比如QQ空间呢?貌似没有API?
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1392 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 17:17 · PVG 01:17 · LAX 09:17 · JFK 12:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.