V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
s609926202
V2EX  ›  问与答

爬虫: get 请求一个 url 不返回主体 html,状态码 200,这是加权限了吗?

  •  
  •   s609926202 · 2020-01-07 14:39:02 +08:00 · 1863 次点击
    这是一个创建于 1543 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请求地址: https://www.digikey.cn/products/zh?WT.z_header=search_go&keywords=LTC4366HTS8-2

    使用 Guzzlehttp 请求时时,返回内容如下:

    <!DOCTYPE html>
    <html>
      <head>
        <script>一些 js 代码</script>
      </head>
      <body>
        <script>一些 js 代码</script>
      </body>
    </html>
    

    在浏览器中响应内容是全部的 html 内容。
    初步怀疑这是有什么权限之类的原因?对爬虫不是很了解,路过的帮忙看看。

    第 1 条附言  ·  2020-01-07 23:22:33 +08:00
    经网友提醒并测试,原因是 cookie 引起的。该页面在请求时附带了一个 i10c.bdddb 的 cookie,且响应中也有唯一的 i10c.bdddb cookie。

    目前不是很清楚这个原理,有清楚的同学吗》?
    7 条回复    2020-01-07 19:32:01 +08:00
    noreplay
        1
    noreplay  
       2020-01-07 14:49:44 +08:00
    没玩过爬虫,感觉是一个 js 执行的问题,可以试一下无头浏览器之类的进行爬
    s609926202
        2
    s609926202  
    OP
       2020-01-07 14:55:16 +08:00
    使用 curl 返回的内容如下图

    crella
        3
    crella  
       2020-01-07 17:39:41 +08:00 via Android
    www.newsmth.net 一样。每次访问页面都被 js 处理并解析,所以要有类似浏览器 js 环境的 js 解析器
    s609926202
        4
    s609926202  
    OP
       2020-01-07 17:43:57 +08:00
    @crella php 可以实现吗?
    crella
        5
    crella  
       2020-01-07 19:06:57 +08:00 via Android
    @s609926202 selenium,安装 firefox 或 chrome 驱动并安装对应浏览器。

    我都是道听途说,没亲身试过。听说 selenium 有内存泄漏问题
    ruimz
        6
    ruimz  
       2020-01-07 19:19:11 +08:00 via Android
    @crella 不用这么麻烦…newsmth 的 js 文件也是有规律对应的。F12 一下找到 js 文件地址,直接爬 js 就行…………
    qoo2019
        7
    qoo2019  
       2020-01-07 19:32:01 +08:00 via iPhone
    根据 ua,直接返回 200 就行了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2870 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:50 · PVG 21:50 · LAX 06:50 · JFK 09:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.