Nginx.conf屏蔽搜索引擎蜘蛛,一些蜘蛛根本不回来流量但是抓取的太多了浪费网站流量，想只让百度和谷歌的蜘蛛访问，别的蜘蛛来的话直接跳转到大网站比如百度。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› NGINX

› NGINX Trac

› 3rd Party Modules

› Security Advisories

› CHANGES

› OpenResty

› ngx_lua

› Tengine

在线学习资源

› NGINX 开发从入门到精通

NGINX Modules

› ngx_echo

这是一个创建于 3975 天前的主题，其中的信息可能已经有所发展或是发生改变。

找到下面的代码但是这个代码返回的是403 我想让他直接访问跳到别的网站，跳到百度去。
if ($http_user_agent ~* (soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)){
return 403;
}

蜘蛛

百度

4 条回复 • 1970-01-01 08:00:00 +08:00

luztak

2013-05-31 22:45:57 +08:00

记得PHP的做法是Header("Location:http://www.baidu.com");
你可以试试写个no_other_spider的filter,碰到别家机器人就把Header 301到百度

binux

2013-05-31 22:48:59 +08:00

rewrite .* http://www.baidu.com/ break;

infong

2013-06-01 01:10:10 +08:00 via Android

return 301 http://www.baidu.com/;

revlis7

2013-06-01 01:20:59 +08:00

应该再加上一个360spider

Nginx.conf屏蔽搜索引擎蜘蛛,一些蜘蛛根本不回来流量但是抓取的太多了 浪费网站流量，想只让百度和谷歌的蜘蛛访问，别的蜘蛛来的话 直接跳转到大网站比如百度。

Nginx.conf屏蔽搜索引擎蜘蛛,一些蜘蛛根本不回来流量但是抓取的太多了浪费网站流量，想只让百度和谷歌的蜘蛛访问，别的蜘蛛来的话直接跳转到大网站比如百度。