关于网页版闲鱼(爬虫相关)

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1988 天前的主题，其中的信息可能已经有所发展或是发生改变。

访问网页版闲鱼，遇到一些问题

比如搜索关键字“手机”：

https://s.2.taobao.com/list/?_input_charset=utf8&q=%E6%89%8B%E6%9C%BA

1.进去以后发现点任何跳转链接的按钮(点击按价格排序、按价格范围搜索)都会自动跳到这里：

https://www.taobao.com/markets/bx/deny_pc

显示内容

亲，访问被拒绝

可能因为：

请检查是否使用了代理软件或 VPN 哦~

问题是没用代理，所以有点困惑，是我的 IP 被限制了吗？

2.下拉到底部加载更多时，一直在转“加载中，请稍候”

抓了一下包，发现发出加载请求后得到的 json 是空的

https://s.2.taobao.com/list/waterfall/waterfall.htm?wp=2&_ksTS=1563442743757_129&callback=jsonp130&stype=1&st_trust=1&q=%CA%D6%BB%FA&ist=1

响应：

jsonp130({
    "numFound": 0,	
    "currPage": 0,	
    "totalPage": 0,	
    "ershouCount": 0,	
    "idleCount": 0,	
    "ershou":[		],
    "idle":[		]
})

是我的方式哪里错了吗？

版闲鱼

idlecount

numfound

IDLE

13 条回复 • 2019-08-12 11:28:46 +08:00

siknet

2019-07-18 17:51:10 +08:00 via Android

URL 不对，自己构造就行了

JmmBite

2019-07-18 17:53:09 +08:00

app 抓包。

HuberyPang

2019-07-18 18:31:12 +08:00

网页版没找到搜索入口呀这个要抓 app 端吧

yongsan01

2019-07-18 19:48:52 +08:00

@HuberyPang 直接在地址栏传的参数

yongsan01

2019-07-18 19:49:08 +08:00

@JmmBite 好吧闲鱼现在只能抓 app 端了吗

spark

2019-07-19 00:44:58 +08:00

闲鱼很早就把网页搜索入口给关了啊

mawerss1

2019-07-19 11:19:59 +08:00

http://www.xianyusoso.com/ 代码一看便知

mingyangliang

2019-07-22 10:46:53 +08:00

兄弟，问题解决了吗？
我现在也遇到了这样的问题

llll

2019-07-24 11:27:26 +08:00

@mawerss1 该网站已挂

joson1205

2019-07-30 17:16:58 +08:00

抓包看下就知道,也可以用代理重新请求看下返回是不是一样的

win7pro

2019-08-05 18:19:06 +08:00

我看黑碟软件的闲鱼监控助手，他的日志内会有“生成 token ”这样一条，每查一次关键字会生成 token 一次，不知道走的什么接口。

sczan1101

2019-08-11 21:00:55 +08:00

这个月一号彻底把网页搜索关了

iamdaguduizhang

2019-08-12 11:28:46 +08:00

网页搜索看来是没有了，我尝试了 App，抓包发现有加密参数，那就只能逆向了吗？可有老哥有其他的办法