未公开的域名被蜘蛛爬，到底是哪一环出了问题？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2937 天前的主题，其中的信息可能已经有所发展或是发生改变。

域名 NS 放在CloudXNS
独立 IP 地址 VPS
VPS 安装宝塔Linux 管理
给朋友用微信发送过网址， log 里有微信跳转服务用IE 的 User-Agent的访问记录以及微信内部浏览器 Micromessage 的 UA
给朋友用 QQ 发送过网址， log 里只有QQ 浏览器的 UA
我自己使用官网下载的Chrome浏览器，未安装其他扩展
未使用任何网站监控服务

先后被 GoogleBot 、 BaiduBot 、 Baidu-YunGuanCe 等蜘蛛爬，发现之后写了Deny * 的 robot.txt ，这几个蜘蛛还在爬，除了云观测其他的都在爬一些不存在的网页，被服务器返回了 404 。

部分日志如下图

10 条回复 • 2016-12-06 23:30:47 +08:00

1

wjm2038

2016-12-06 02:10:57 +08:00

chrome 访问过就会被爬， qq 微信也同理。。。

2

CloudnuY

OP

2016-12-06 02:24:32 +08:00

@wjm2038 所以说用 Chrome 访问过的 URL 就会被提交到 googlebot 吗…………

那为什么他要爬一些并不存在的网址。。。

3

wjm2038

2016-12-06 02:49:59 +08:00

@CloudnuY 你这个日志没有的话我也不知道为什么啊。。你好歹贴个日志啊，顺便记得把网址手动打码

4

wjm2038

2016-12-06 02:53:26 +08:00

@CloudnuY 顺便根据我猜测，谷歌爬的是看你这个是什么框架的，百度的没看到 404 ，还有谷歌会忽略 deny *的

5

twl007

2016-12-06 03:08:27 +08:00 via iPhone

@wjm2038 Google 应该不是忽略而是该抓还是抓只是最后不会在搜索结果页面呈现出来罢了

6

badcode

2016-12-06 03:21:20 +08:00

这个问题涉及的不仅仅是网站这边，还有访客的环境！

7

forestyuan

2016-12-06 11:52:56 +08:00

域名只要注册了，都能在 whois 查到，所以我觉得不存在公不公开的问题

8

CloudnuY

OP

2016-12-06 15:26:48 +08:00

@badcode @wjm2038 访客只用微信和 QQ 打开过，百度的云观测怎么就知道这个二级域名了呢。。。

@forestyuan 其实准确的说是未公开的二级域名。。。

9

ye10010

2016-12-06 21:54:06 +08:00

会否是宝塔软件或者 cloudxns 会自动推送?
反正 dnspod 上可以开启搜索引擎推送功能.

10

CloudnuY

OP

2016-12-06 23:30:47 +08:00

@ye10010 设置里面都没开通这功能，难道会偷偷推送。。。

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 2620 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 30ms · UTC 11:06 · PVG 19:06 · LAX 03:06 · JFK 06:06
Developed with CodeLauncher
♥ Do have faith in what you're doing.