天猫的反爬加强了?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3014 天前的主题，其中的信息可能已经有所发展或是发生改变。

这两天突然发现很多都爬取不了,把失败的 url 丢进去一看,发现都需要登录才能浏览了.
平时是自己弄了个代理池,每次爬都从代理池里面随机取代理爬的.
这样都被反爬了还有什么好的方法吗?

代理池

爬

url

天猫

6 条回复 • 2016-08-27 22:55:20 +08:00

petelin

2016-08-26 21:17:05 +08:00 via Android

登录进去拿到 session 就行了，又没说 session 和 IP 必须一匹配，不知道你什么意思。

qianlifeng

2016-08-27 00:56:14 +08:00

我也发现了，还在想怎么弄

ljcarsenal

2016-08-27 10:24:16 +08:00

求教你们整天爬来爬去的有什么经济价值？

bf68

2016-08-27 11:54:01 +08:00

@ljcarsenal 同问

mrcode

2016-08-27 21:32:53 +08:00

@petelin 登陆后拿到的是 token 吧。:smile:

petelin

2016-08-27 22:55:20 +08:00 via Android

@mrcode 想说 session id. 脑抽了，当时看到这个问题感觉很无聊，，，