求分享阿里和腾讯云 ip 段，发现这些云上面太多的 bot 爬虫，要封掉它们

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1207 天前的主题，其中的信息可能已经有所发展或是发生改变。

或者求运营同学的爬虫 ip 黑名单谢谢

爬虫

黑名单

bot

阿里

8 条回复 • 2021-08-11 14:27:53 +08:00

DavZhn

2021-08-10 18:15:02 +08:00

0.0.0.0/0

DavZhn

2021-08-10 18:15:33 +08:00

然后再搞个白名单

Foxkeh

2021-08-10 18:47:08 +08:00

你看是不是要的这个 http://as.chacuo.net/company

DT27

2021-08-10 19:09:18 +08:00

分享个我自己的垃圾屏蔽规则
#禁垃圾蜘蛛
if ($http_user_agent ~* "YandexBot|DotBot|SeznamBot|SemrushBot|YisouSpider|serpstatbot|Bytespider|TinEye-bot|WordPress|Datanyze|woorankreview|CCBot|BPImageWalker|SabsimBot|MJ12bot|SEOkicks|SlurpChina|1subscribers|DomainStatsBot|Qwantify|AhrefsBot") {
return 400;
break;
}

#禁部分爬取工具
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy|python-requests|Go-http-client|python-requests" ) {
return 400;
break;
}

#禁特殊后缀
location ~* \.(asp|aspx|ashx|htaccess|ini|env|git|project|cgi|java|action|jsp|cfg|tpl|sql)$ {
return 400;
break;
}

herozzm

2021-08-10 22:53:54 +08:00

@DavZhn 不行的网址还是要给陌生人看的

@DT27 这是封锁 user_agent 啊，我遭遇的爬虫都是 win10 chrome 的特征，封了就变
@Foxkeh 没看到阿里云，腾讯云，亚马逊云，甲骨文云，google 云，微软云这些 ip 段，实际上这些爬虫都是不是在这些云上

leoking6

2021-08-11 09:08:22 +08:00 via iPhone

套 cf，源站给 cf 的 ip 白名单，再设置 cf 的防火墙规则，比如高威胁分数要求验证

cydian

2021-08-11 12:53:16 +08:00

查 ip whois 。根据公司反查整个公司注册的段。然后全部段拉黑。

FlyingShark

2021-08-11 14:27:53 +08:00

查 as 号，阿里云 IP 段封了

套 cf，国外 IP 威胁分数高的要验证。国内家宽 IP 早被艹烂了，就算了吧