V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
ssbg2
V2EX  ›  Linux

问下现在 Linux 监控海量文件+两端同步的正确姿势是什么?

  •  
  •   ssbg2 · 2020-09-27 10:25:00 +08:00 · 2337 次点击
    这是一个创建于 1278 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,公司 OA 系统有两台文件服务器,里面积攒了从 10 年到现在的几乎所有文件,文件挺多但倒是不大,因为绝大多数都是些图片、文档之类的。
    然后本身是在阿里云托管的,似乎也不用太担心意外导致数据丢失的问题(每个月还会手动备份一次到本地)。
    但是最近老板觉得这个东西还是存在本地好,迁移倒是很简单,可是总得做异地热备吧,搜了下,说是 inotify+unison 的方案是比较高效的,参照的教程是这个:
    https://cloud.tencent.com/developer/article/1333957

    结果我发现这个方法每次有变动都会扫描所有文件,造成了延时高、资源占用大的问题,没办法使用。

    后来又搜了下,说是还是通过脚本来调用 rsync 是比较科学的( inotify+rsync ),教程如下:
    https://developer.aliyun.com/article/679345

    请问下大家一般都是怎么做的?


    ==================================================================
    哦,对了,监控其实只监控新增,所以不牵扯到文件内容的比较。
    10 条回复    2020-09-28 10:48:51 +08:00
    zpfhbyx
        1
    zpfhbyx  
       2020-09-27 10:27:22 +08:00   ❤️ 1
    inotify + rsync
    ssbg2
        2
    ssbg2  
    OP
       2020-09-27 10:28:02 +08:00
    @zpfhbyx 嗯,谢谢了
    weyou
        3
    weyou  
       2020-09-27 10:36:47 +08:00 via Android   ❤️ 1
    syncthing
    d0m2o08
        4
    d0m2o08  
       2020-09-27 11:03:21 +08:00
    我用的 lsyncd 本质还是 inotify + rsync
    mingl0280
        5
    mingl0280  
       2020-09-27 11:40:46 +08:00 via Android
    rsync...
    lengyihan
        6
    lengyihan  
       2020-09-27 13:04:42 +08:00 via Android
    syncthing 。
    tieqishan07li
        7
    tieqishan07li  
       2020-09-27 13:51:42 +08:00
    阿里云的话,可以放到 oss 里,然后用 ossfs 工具把 bucket 挂载到本地。
    wangyzj
        8
    wangyzj  
       2020-09-27 16:03:06 +08:00
    为啥不放 oss
    flynaj
        9
    flynaj  
       2020-09-27 23:13:46 +08:00 via Android
    syncthing 简单方便
    shellus
        10
    shellus  
       2020-09-28 10:48:51 +08:00
    syncthing 就是 inotify+rsync 的原理
    但是多了 gui 和 p2p
    更高级,更好用,更简单
    毕竟 inotify+rsync 是两个基础命令结合使用
    而 syncthing 是面向最终用户的软件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4322 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 10:12 · PVG 18:12 · LAX 03:12 · JFK 06:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.