目标地址: https://search.shopping.naver.com/search/category?adQuery&brand=188869&catId=50000629
step1: 国内电信,不用任何代理或 vpn 直接用浏览访问就出现 418 ,初步确定是这个站点封禁国内的。(不知道移动和联通是否也这样)
step2: 启动 vpn 访问用浏览器访问,打开页面正常。
接下来 curl 的奇怪问题 操作系统是: macos-14.5
确定了 curl 终端请求都是会经过代理的
curl 'https://search.shopping.naver.com/search/category?catId=50000630'
尝试 1:在终端:macos-curl 8.6.0 请求返回的是 418
尝试 2: 用 docker-debian-curl 7.52.1 请求返回 200 却是可以成功的
尝试 3: 用 docker-debian-curl 7.88.1 请求返回的是 418
python 和 scrapy 的奇怪问题
确定了请求都是会经过代理的
Python 3.9.6 Scrapy 2.8.0
cookies = {
'NACT': '1',
'NAC': 'bupOBQQrA6vz',
'NNB': 'HTF6RRY7SDCGM',
'BUC': 'fHVI0Qf4gDQah4m9TkLBxmg7BIZvwdowShJv6ZPLiG8=',
'OEP_BUCKET_ID': '1',
'SHP_BUCKET_ID': '9'
}
headers = {
# 'cookie': 'NACT=1; NAC=bupOBQQrA6vz; NNB=HTF6RRY7SDCGM; BUC=fHVI0Qf4gDQah4m9TkLBxmg7BIZvwdowShJv6ZPLiG8=; OEP_BUCKET_ID=1; SHP_BUCKET_ID=9',
'sec-ch-ua': '"Not)A;Brand";v="99", "Microsoft Edge";v="127", "Chromium";v="127"',
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0'
}
url = 'https://search.shopping.naver.com/search/category?catId=50000629'
requests.get(url, headers=headers, cookies=cookies)
尝试 python 请求:返回是 200 正常
尝试 scrapy 请求:返回是 418 失败
1
xiaoriri666 95 天前 2
多半是检测了 tls 指纹,尝试用 tls-client 这个 python 库在请求试试
|
2
Puteulanus 95 天前 1
我这儿是软路由,浏览器可以,复制浏览器请求为 curl 命令导入 paw 可以,但直接执行 curl 命令就是 418 ,感觉应该是检测了 tls 指纹这种的了
|
4
xoxo419 OP @xiaoriri666 #1 😃 tls-client 用了这个马上就好了~
|
5
X3en 94 天前
学到新知识了
|