百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1435 天前的主题，其中的信息可能已经有所发展或是发生改变。

占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?

2 条回复 • 2020-12-21 15:06:58 +08:00

treblex

2020-12-10 14:55:24 +08:00

nginx 缓存 get 请求
另，看看是不是其他问题吧

ggabc

2020-12-21 15:06:58 +08:00

假的了，百度站长那里可以控制采集密度
你看到的压力，应该是爬虫或者攻击工具冒充的 ua