挂代理也被要求验证？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2059 天前的主题，其中的信息可能已经有所发展或是发生改变。

买了几个大洋的付费代理，爬取 58 同城，但还是有一半的 IP 被要求验证，难道说是我大洋给少了？？？然后我又添加了 UA 中间件，效果稍微好一点。但还是会有很多动态 IP 被 ban 掉，想问大家有什么解决办法没。

大洋

验证

代理

Ban

20 条回复 • 2019-04-09 21:46:57 +08:00

cpdyj0

2019-04-07 16:21:40 +08:00 via Android

代理的 IP 被 ban 掉很正常咯，可以考虑中转 emmm

Northxw

2019-04-07 16:23:34 +08:00

@cpdyj0 emmm... 代理 IP 不就是中转请求的吗，为什么还要中转! 怎么中转.... 求解释。

claysec

2019-04-07 16:29:20 +08:00

@Northxw 现在爬虫的话最好的话用分布式+动态 ip+随机 UA +随机时间请求的方式。最大化减少被 ban 的可能。

andylsr

2019-04-07 16:34:05 +08:00 via Android

adsl

Northxw

2019-04-07 16:36:35 +08:00

@claysec 随机时间你一般控制在哪个区间，可不要放弃效率啊。

@andylsr 噗，贵的 ya 皮。

andylsr

2019-04-07 16:41:29 +08:00 via Android

@Northxw 代理不靠谱~钱也是白花~不如 adsl 按周付费~也没那么贵

e2c

2019-04-07 16:45:22 +08:00

现在不是能判断 IP 是否为 IDC 机房的 IP，这样就能大概知道是真人还是机房代理，所以被 BAN 的机率就上去了

Northxw

2019-04-07 16:52:32 +08:00

@andylsr 我先前看最低好像时按月付费 emmm... 可以了解一下

@e2c 嗯哼？这个我还不知道哎

claysec

2019-04-07 16:53:00 +08:00

@Northxw 1-3s 3-5s 这两个区间。效率可以用时间弥补。不能快而求其次啊。除非你抓的东西真的一点都不重要，哈哈哈哈（滑稽）

claysec

2019-04-07 16:56:04 +08:00

@Northxw #7 也是参考依据之一

ji4ozhu

2019-04-07 17:56:43 +08:00

www.54nb.com 参考下

andylsr

2019-04-07 18:13:30 +08:00 via Android

@Northxw 善用淘宝。。。

Northxw

2019-04-07 18:52:56 +08:00

@andylsr 搜嘎

Northxw

2019-04-07 18:53:09 +08:00

@ji4ozhu 可以的

shuiyingwuhen

2019-04-08 10:00:10 +08:00

代理的 IP 被 ban 掉很正常咯

Northxw

2019-04-08 10:57:23 +08:00

@shuiyingwuhen 看来还是要搞 ADSL，真机般的存活，美滋滋。哈哈

shuiyingwuhen

2019-04-09 07:37:27 +08:00 via Android

@Northxw 我还真用的是 ADSL

Northxw

2019-04-09 07:42:55 +08:00

@shuiyingwuhen 贵吗？求推荐。

shuiyingwuhen

2019-04-09 21:36:47 +08:00

@Northxw 中国联通 720 元 /2 年
坐标：成都

Northxw

2019-04-09 21:46:57 +08:00

@shuiyingwuhen 很便宜，很实惠