V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
sinORcos
V2EX  ›  NAS

集群式存储 NAS 的一种可能性?求大佬解惑

  •  
  •   sinORcos · 205 天前 · 2695 次点击
    这是一个创建于 205 天前的主题,其中的信息可能已经有所发展或是发生改变。
    家里的 NAS 可用空间越来越少了,现在使用的是一个 8 盘位的 DIY 机器,可用容量 64T ,剩余容量不足 8T ,目前在考虑扩容方案

    首先我不想换硬盘,也许我可以买一个洋垃圾来做 2 号 NAS ,但是考虑到日后继续扩容的需求,我现在就想搞一个可无痛扩容的集群。

    因为 Truenas 使用的 Cluster 是基于 Gluster 的,而 Gluster 已经几乎不进行任何维护,Truenas 已经在最新的版本中移除了其集群功能,虽然官方说正在尽力解决集群功能的问题,但是不知道要等多久。

    所以我想了一个歪招,就是勇 PVE 做底层,在 PVE 中搭建 Ceph 存储集群,然后以 block 的形式将 Ceph 存储挂载给 unraid 或者 Truenas 来建设存储,基础的数据保护做在 Ceph 层级,但是因为目前没有设备进行测试,不清楚这样的架构是否会带来较大的性能损失,我甚至不清楚这种架构能否实现,还请大佬指点。
    23 条回复    2024-05-09 13:22:46 +08:00
    lzxz1234
        1
    lzxz1234  
       205 天前
    可以 iscsi 套娃?
    rojer12
        2
    rojer12  
       205 天前
    用外置的硬盘供电笼子?有多的 pcie 插槽的话加个 raid 卡之类的,数据线直接连过去,供电由笼子负责
    mayli
        3
    mayli  
       205 天前   ❤️ 1
    是的,对于优化不好的场景,会有较大的性能损失。
    能实现。
    你并不需要真的机器,你可以用 vm 起 pve ,然后 vm 里搭建 ceph 集群。
    sinORcos
        4
    sinORcos  
    OP
       205 天前
    @rojer12 如果考虑外置硬盘的方案的话,我可能会直接上 jbod 设备了,整个洋垃圾服务器,用 hba 卡外接 jbod 设备,扩容的上限也可以增加很多,确实也考虑过这个方案
    sinORcos
        5
    sinORcos  
    OP
       205 天前
    @mayli Ceph 的调优大概看了一些资料,感觉非常复杂,好像也不是一个很好的办法,不是专门搞 Ceph 运维的我来弄这种架构,感觉最后只能是“能用”的水平,达不到“好用”
    zx900930
        6
    zx900930  
       205 天前   ❤️ 1
    可以多几台 vm 起 ceph
    性能损失肯定有,毕竟套 3 层娃。
    所以一般拿来练习 ceph 的,即使是自己用,拿几台旧机器整个真的集群比这个靠谱多了。
    因为你这个虽然逻辑上是集群,实际计算和存储都在一台机器上,是个单点。。。所以还不如普通的 raid 。
    Navee
        7
    Navee  
       205 天前
    司波图最近更了一期 pve 集群+ceph 的视频,可靠性看上去还可以,磁盘容量和和性能会有损失
    njzhx
        8
    njzhx  
       205 天前
    家用搞啥的这么多存储需求。。
    podel
        9
    podel  
       205 天前
    我也想到了。Ceph 磁盘的性能不行。而且还要求集群之间互联带宽很高。
    Ceph 配置复杂。可靠性也是存疑。
    sinORcos
        10
    sinORcos  
    OP
       205 天前
    @zx900930 真集群的话,推荐什么方案呢? GlusterFS 上次更新好像是 2020 年的事了……
    libook
        11
    libook  
       205 天前   ❤️ 1
    有 PCIe 槽吗?有的话几十块钱一张 HBA 卡,浪潮拆机的硬盘笼,直接就有 12 盘位,级联还能再扩 12 盘位。

    数据中心的分布式方案是建立在强大的运维部门的基础上的。
    min
        12
    min  
       205 天前
    硬盘也是有寿命的,不如另外搭一套,方案也简单不折腾
    zx900930
        13
    zx900930  
       205 天前   ❤️ 1
    @sinORcos #10 个人使用,建议存储单独弄个 NAS 出来,这边试过全闪 ceph 的 rbd 用 csi 接入 k8s(预生产环境)后套娃 glusterfs 满足部分服务 RWX 的需求。IOPS 损失( 4k 小文件 70%Read 30%Write )对比直接 csi 接入 block storage 平均在 60%以上,瓶颈在网络上,测试时网络是 25G x2 捆绑.

    对网络的要求非常非常高,网络抖动可能造成 glusterfs 脑裂-节点损坏,这时候的 file-healing 根据数据量经常是以天为时间单位计算的。


    所以先弄清楚自己的需求,大文件还是小文件,读写比例,以及你是否有足够的精力来维护你的存储架构。

    小建议:公司里管这些已经够累了,家用真的放过自己吧。
    一个 NAS 盒+单副本 TrueNAS 能满足 99.999%家庭使用了。
    要扩容,买同样数量的硬盘新建一个 vdev raidz 加入池子吧,这是标准 zfs 扩容的方式。
    wangbin11
        14
    wangbin11  
       205 天前   ❤️ 1
    能用即可,你那些需求用 nvme 全都可以解决,剩下的 hdd 做数据落地,有兴趣可以留个联系方式我加你,我可以帮忙
    wangbin11
        15
    wangbin11  
       205 天前
    我失业了很无聊,可以留个联系方式我和你一起折腾
    sinORcos
        16
    sinORcos  
    OP
       205 天前
    @zx900930 我也觉得家庭搞 Ceph 太复杂了,就是想搞个可以完全无痛扩容的方案出来,看各位大佬的建议,最后可能还是选择 TrueNAS 的方案,高于服务器硬盘位的扩容就用 jbod 解决,之前 linus 搞过一个 Mother Vault ,可能就使用类似那种的方式才最适合家庭或微型公司,虽然 B 站上很多人说 Mother Vault 这种类型是数据灵车
    sinORcos
        17
    sinORcos  
    OP
       205 天前
    @wangbin11 全闪的成本太高了,非我辈能承受啊
    wangbin11
        18
    wangbin11  
       205 天前
    @sinORcos nvme 用来加速不是全闪,你留个联系方式我加你
    xinmans
        19
    xinmans  
       205 天前
    楼主不考虑 zfs 吗? 我目前用 zfs 堆了快 100T 的存储。16T*8 ,打算组两组,全部 smb 挂载使用。
    phrack
        20
    phrack  
       205 天前 via iPhone
    上集群感觉就很复杂啊,单机几十块硬盘也没问题啊,你这个 8 块硬盘还能翻几倍呢,到时候再考虑集群呗
    NoOneNoBody
        21
    NoOneNoBody  
       205 天前
    好奇是什么场景要全部数据在线?
    我硬盘已超过 200T ,但从没想过要全部挂上,没必要啊,每天数一遍全部文件个数么?
    AS4694lAS4808
        22
    AS4694lAS4808  
       205 天前 via Android
    真要有多个节点,不如搞个 minio ,当 s3 桶外挂,水平随意扩展。
    xiaoyuesanshui
        23
    xiaoyuesanshui  
       202 天前
    我真的研究过这个方案,底层用 esxi ,然后上几个 CEPH 节点

    且不说三层套娃

    印象里每 TB 推荐 1GB RAM,感觉不是服务器主板真的带不起这么多内存插槽

    且不说家里有没有地方和噪音,电费都吃不消了

    后来我认真研究了一下工作站方案,消费级 CPU ,多带几个 PCI 接口,用 PCI 转 sata 扩展出来,其实也挺香的

    如果是一般家用存个剧、照片、备份啥的,有个 100T 肯定足够的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1230 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 18:08 · PVG 02:08 · LAX 10:08 · JFK 13:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.