Python 如何实现 connect 隧道请求？

[changwenrui2310]

在爬取一个网站的时候，fiddler 抓到的包是这样的；

首先发送一个 connect 隧道请求，然后是 OPTIONS 请求和 get 请求，

但超过一定时间段，隧道将会关闭

我的理解是网站是在隧道传输数据的，且超时会关闭

那我如何用 python 去实现这种方式的请求呢？

[Delon]

https

[changwenrui2310]

@Delon 怎么请求呢，直接 get 报 502

[locoz]

先 CONNECT 再操作那是 HTTPS 吧…先 OPTIONS 再 GET 是部分前端框架的默认操作，一些可以忽略，一些需要同样做一遍 OPTIONS，看情况弄就好了。
你如果直接 GET 报错就和它一样先 OPTIONS 一下，如果还不行，多半是你请求体里的其他参数有问题。

[xingyue]

@locoz options 一般是因为跨域浏览器自动发送的吧，请求库一般没有默认发送 options 请求的吧

[locoz]

@xingyue #4 没细究过具体原理，但是我印象中是有些跨域有、有些跨域没有，而且应该跟浏览器没有关系。
刚刚查了一下，这种情况叫预检请求，用来检测服务端是否支持跨域，所以有可能是部分前端框架会自动发送、部分不会？或者我见到的那些没有发的可能是被人为关闭了？

[xingyue]

@locoz 浏览器行为，具体情况可以参看链接

https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Access_control_CORS#%E7%AE%80%E5%8D%95%E8%AF%B7%E6%B1%82

[binux]

我没见过除了代理能用 connect 请求的

[imn1]

你又不是写 socket，干嘛要考虑 connect ？
一般的请求模块已经处理了 connect 了，你需要做的是尽量模拟出浏览器环境，让服务器那边“觉得”你是浏览器访问

[locoz]

@xingyue #6 学到了，谢谢~原来是属于“简单请求”的就不会触发自动 OPTIONS

[renmu123]

options 没必要管，requests 可不用遵从浏览器规范

[locoz]

@locoz #3 补充一下，既然这个 OPTIONS 属于浏览器自动发送的请求，那么它就完全可以被用于反爬。比如用是否先发送 OPTIONS 再发送其他请求；比如通过 Access-Control-Max-Age 来判断是否没有按照要求来，在时间范围内多次发送了 OPTIONS 。能想到的骚操作还是挺多的。

所以最好还是按照同样的方式先发送 OPTIONS 再发送其他请求，并且按服务器要求的来处理，最大程度避免被识别。

[locoz]

@renmu123 #10 还是要管一下的，既然是浏览器自动发送的东西，那么就完全可以被用于反爬