V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
le0rn0
V2EX  ›  问与答

关于 robots.txt 的一点疑问

  •  
  •   le0rn0 · 2016-01-11 21:33:35 +08:00 · 1834 次点击
    这是一个创建于 3266 天前的主题,其中的信息可能已经有所发展或是发生改变。

    php 或 jsp 站点,可通过 xxx.com/robots.txt 直接查看内容,这时候蜘蛛可以按规则来;

    如果,像 django 、 flask 等,在 url 中没有定义,访问 xxx.com/robots.txt 就会返回 404 ,此时的 robots.txt 是否还有效?

    若无效,是否要定义一个一个以 /robots.txt 结尾的 url 来使其生效?

    有其他方法吗?

    各位在做项目时是如何保护后台登陆地址的?(如防止搜索引擎收录)

    Thanks EveryOne !

    22 条回复    2016-01-12 13:39:10 +08:00
    Delbert
        1
    Delbert  
       2016-01-11 21:40:06 +08:00
    在网站根路径下创建一个 robots.txt 文件就不会走框架路由了吧?
    loading
        2
    loading  
       2016-01-11 21:42:02 +08:00 via Android
    后台登陆地址也要保护…你是多么不相信你的表单验证代码?


    你可以每次都变化登陆地址…
    zakokun
        3
    zakokun  
       2016-01-11 21:43:57 +08:00
    最好的方法是直接写在框架里面咯. /robots.txt 指向一个方法,这个方法输出相关的内容
    或者直接写在 nginx 的 http 配置里面
    le0rn0
        4
    le0rn0  
    OP
       2016-01-11 21:43:58 +08:00
    @Delbert 没,还是走路由的
    kn007
        5
    kn007  
       2016-01-11 21:45:13 +08:00
    对于后台地址,比如 wordpress ,我是加简单验证。

    利用 nginx 的 auth_basic_user_file 。

    https://kn007.net/topics/wordpress-how-to-protect-the-wp-login-php-and-wp-cron-php/

    这种方式,基本上你 robots 不定义,搜索引擎也不会收录
    le0rn0
        6
    le0rn0  
    OP
       2016-01-11 21:46:13 +08:00
    @loading 2333 ,最好就是连登陆地址都不要让人知道

    我之前似乎见过那种,既没有 robots.txt ,搜索引擎也没有收录其后台相关任何信息,请教下这是怎么实现的,谢谢
    popu111
        7
    popu111  
       2016-01-11 21:47:19 +08:00 via Android
    后台地址每 7 天重新随机生成并 mail 我还有救么 XD
    le0rn0
        8
    le0rn0  
    OP
       2016-01-11 21:48:05 +08:00
    @zakokun 输出了 robots 内容,后台地址直接知道了, 2333
    le0rn0
        9
    le0rn0  
    OP
       2016-01-11 21:48:56 +08:00
    @popu111 6666666 ,你更强,当搜索引擎收录你登录页时而你却改变了地址,深藏功与名
    le0rn0
        10
    le0rn0  
    OP
       2016-01-11 21:49:29 +08:00
    @kn007 受教,多谢!顺便问下你这语义 url 是调用的翻译吗
    kn007
        11
    kn007  
       2016-01-11 21:50:26 +08:00   ❤️ 1
    @le0rn0 是的。
    加了简单认证,还能防止简单爆破,何乐不为。
    lhbc
        12
    lhbc  
       2016-01-11 21:51:22 +08:00 via Android
    le0rn0
        13
    le0rn0  
    OP
       2016-01-11 21:52:57 +08:00
    @lhbc 这是???
    des
        14
    des  
       2016-01-11 21:59:05 +08:00
    robots.txt 你就不能弄个静态文件么?速度还快。

    另外 robots.txt 是君子协议,不要把敏感地址放入 robots.txt 中,不要把敏感地址放入 robots.txt 中,不要把敏感地址放入 robots.txt 中。因为很重要,所以要说三遍
    billlee
        15
    billlee  
       2016-01-11 22:13:25 +08:00
    靠保密 url 来保护后台的都是刷流氓
    le0rn0
        16
    le0rn0  
    OP
       2016-01-11 22:17:07 +08:00
    @billlee 2333 ,求不流氓的方法
    v1024
        17
    v1024  
       2016-01-11 22:40:08 +08:00
    你看各个框架的 demo 里几乎都会在路由里写 robots.txt 的,直接返回对应文件。
    le0rn0
        18
    le0rn0  
    OP
       2016-01-11 22:42:08 +08:00
    @v1024 多谢
    msg7086
        19
    msg7086  
       2016-01-12 00:53:23 +08:00
    靠隐藏地址来保护的做法叫做 Security through obscurity 。
    https://en.wikipedia.org/wiki/Security_through_obscurity
    通过让人找不到入口来达到安全性,而非设计一个安全的入口。
    个人用用当然无所谓,就是小心别用在企业项目里就好了。
    honmaple
        20
    honmaple  
       2016-01-12 09:20:35 +08:00 via Android
    我是加了简单验证,像登陆普通用户那样先登陆,然后在手动输入后台地址,如果有管理员权限则进入后台,如果没有登陆或者没有管理员权限则返回 404,另外 @popu111,我也试试隔几天就更换后台地址
    le0rn0
        21
    le0rn0  
    OP
       2016-01-12 13:38:14 +08:00
    @msg7086 多谢,这要用来企业项目老板会疯的
    le0rn0
        22
    le0rn0  
    OP
       2016-01-12 13:39:10 +08:00
    @honmaple 多谢啦
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2552 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 04:23 · PVG 12:23 · LAX 20:23 · JFK 23:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.