V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
pydiff
V2EX  ›  Kubernetes

k8s 分布式存储

  •  
  •   pydiff · 2022-01-04 16:30:38 +08:00 · 6234 次点击
    这是一个创建于 1056 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在调研 k8s 上有状态应用,关于分布式存储方面,对比了下,打算用 ceph ,想看看大家生产上的 k8s 都是用什么存储的

    第 1 条附言  ·  2022-01-04 17:02:12 +08:00
    或者大家有没有使用得比较好的商业的产品,稳定好用的就行,要支持私有化部署的
    第 2 条附言  ·  2022-01-04 23:50:47 +08:00

    参考了下大家的回答,目前我们这边偏向于外购来私有化部署,有没有哪位大佬用过比较好的商业产品

    42 条回复    2022-06-10 20:33:40 +08:00
    yijihu
        1
    yijihu  
       2022-01-04 16:34:34 +08:00
    ceph nfs 一起用
    vicalloy
        2
    vicalloy  
       2022-01-04 16:39:40 +08:00
    我比较好奇的是 NFS 的性能损耗有多大。如果性能损耗大的话,部分 IO 敏感的应用是否不上 K8S ?
    pydiff
        3
    pydiff  
    OP
       2022-01-04 16:40:05 +08:00
    @yijihu 我这边目前已经用 nas 做 nfs 在用,但是还是想看看其他的,ceph 坑多吗
    tommydong
        4
    tommydong  
       2022-01-04 16:40:51 +08:00 via iPhone
    ceph 坑还是很多的,小 team 不建议用
    pydiff
        5
    pydiff  
    OP
       2022-01-04 16:41:10 +08:00
    @vicalloy 我这边自建的单个 nas 的 iops 最大可以达到 4w ,不知道够不够,预计上几万个容器
    pydiff
        6
    pydiff  
    OP
       2022-01-04 16:41:33 +08:00
    @tommydong 不是小 team ,就是之前大家都没接触过而已
    defunct9
        7
    defunct9  
       2022-01-04 16:52:51 +08:00
    glusterfs
    liaohongxing
        8
    liaohongxing  
       2022-01-04 16:53:40 +08:00
    存储附件还马马虎虎 ,要是放 mysql , 你要哭 ,试了几个块存储 和 nas 感觉跟 local path provisione 相差一半左右,忍住没上 k8s
    flexbug
        9
    flexbug  
       2022-01-04 16:53:49 +08:00 via Android
    minio 可以看看
    CallMeReznov
        10
    CallMeReznov  
       2022-01-04 16:57:26 +08:00
    维护过一段时间 ceph,搭建设备拉垮+开发一个 BUCKET 写到死,导致天天爆炸.
    至今仍有阴影.
    hxsf
        11
    hxsf  
       2022-01-04 17:40:48 +08:00
    已经有 nas 的话,直接试试 iscsi ?
    tommydong
        12
    tommydong  
       2022-01-04 17:48:55 +08:00 via iPhone
    都没接触过更不建议了,ceph 真心复杂
    szq8014
        13
    szq8014  
       2022-01-04 17:50:45 +08:00
    @CallMeReznov 哈哈哈哈 哈哈 哈哈
    tanhui2333
        14
    tanhui2333  
       2022-01-04 17:57:38 +08:00
    @tommydong 我记得部署就挺复杂的吧
    pydiff
        15
    pydiff  
    OP
       2022-01-04 17:58:59 +08:00
    @tommydong 这个可以学的嘛,反正有好几个人搞
    tommydong
        16
    tommydong  
       2022-01-04 18:46:40 +08:00
    @tanhui2333 部署是有点复杂。不过相比以后的维护和遇到问题 debug 就不值得一提了
    Reficul
        17
    Reficul  
       2022-01-04 19:41:59 +08:00
    @tommydong

    前同事在他上上家跑路的原因就是因为 Ceph ,hhhhh 。据说是因为一个极小概率发生的数据不一致问题,debug 了 1 个多月毫无头绪最后羞愧辞职。
    zmxnv123
        18
    zmxnv123  
       2022-01-04 19:59:54 +08:00
    拒绝在生产环境使用 c++ 写的开源产品,主要是太复杂了,根本 hold 不住。
    FullBridgeRect
        19
    FullBridgeRect  
       2022-01-04 22:20:28 +08:00
    商用私有化产品 openstack ?不过这个东西就更复杂了哈哈哈
    分布式存储主流的是 ceph glusterfs 这两个,如果单机存储比较充足可以用 iscsi 对外,或者有买存储服务器的就更省事了😉
    还有个项目是在 k8s 上面搭 ceph 的,叫 rook ceph ,我没用过不知道坑有多大🤣

    ===
    涉及存储都是一堆坑,k8s 自己又是另一堆坑,我们用阿里云 aws 上 k8s 还是在坑里打滚😂
    Deardrops
        20
    Deardrops  
       2022-01-04 22:29:52 +08:00
    iomesh 了解一下,国内公司 Smartx 推出,一键部署,社区版可以免费使用。性能不会比 ceph glusterfs 差。

    https://www.iomesh.com/
    https://www.smartx.com/
    Ranler
        21
    Ranler  
       2022-01-04 22:53:48 +08:00
    存储的坑比 k8s 的坑大

    自建 NAS 咋保证高可用和数据备份?
    fsdrw08
        22
    fsdrw08  
       2022-01-04 22:59:03 +08:00 via Android
    longhorn ?
    pydiff
        23
    pydiff  
    OP
       2022-01-04 23:44:55 +08:00 via iPhone
    @FullBridgeRect 我们在华为的 cce 上也一堆坑,也很多问题直接就是无解
    pydiff
        24
    pydiff  
    OP
       2022-01-04 23:45:29 +08:00 via iPhone
    @Ranler 硬件运维负责,躺枪不到我
    pydiff
        25
    pydiff  
    OP
       2022-01-04 23:47:30 +08:00 via iPhone
    @fsdrw08 这个玩意太少人用了,不知道里面坑怎么样,直接不考虑
    SIGEV13
        26
    SIGEV13  
       2022-01-04 23:55:45 +08:00
    红帽子的 Ceph 服务挺好的,让运维评估一下吧。
    https://www.redhat.com/en/technologies/storage/ceph
    pydiff
        27
    pydiff  
    OP
       2022-01-04 23:56:33 +08:00 via iPhone
    @SIGEV13 ok ,谢谢哈
    Akiya
        28
    Akiya  
       2022-01-04 23:58:45 +08:00
    ceph 挺好,但是几个人肯定搞不定,专门开个部门差不多
    mritd
        29
    mritd  
       2022-01-05 08:30:24 +08:00 via iPhone
    Longhorn? 逃
    Judoon
        30
    Judoon  
       2022-01-05 09:06:54 +08:00
    ceph 可以的,推荐先自己搭建 ceph 然后用 ceph-csi 对接 k8s ,再考虑要不要用 rook 项目

    19 年我也做私有化部署,物理机超融合方案,k8s+ceph+应用,全在一起
    PyTx
        31
    PyTx  
       2022-01-05 09:34:52 +08:00
    红帽的很贵,性价比还不如买华为的分布式存储,如果还觉得贵,可以考虑其他家比如杉岩、XSKY 、浪潮、新华三、深信服之类的商用 ceph ,如果打算采购商用的话;如果不考虑采购商用建议找多几个人上开源版本,就是维护、调优啥都自己搞而已,开源的话人数少不建议采用,忒麻烦了
    salmon5
        32
    salmon5  
       2022-01-05 09:39:23 +08:00
    上云
    PyTx
        33
    PyTx  
       2022-01-05 09:40:49 +08:00
    @PyTx 如果实在想私有化,但是不知道哪家,可以考虑去 IDC 看一下最新的中国软件定义存储(SDS)市场跟踪报告,这里面有些数据可以提供参考
    zhujq
        34
    zhujq  
       2022-01-05 09:42:32 +08:00
    存储坑多,很多不是拿来能用的
    xin053
        35
    xin053  
       2022-01-05 09:49:47 +08:00
    ceph 还是挺好用的,就是运维比较复杂,另外不建议使用 rook ,我这边是 ceph-ansible 非容器化部署的 ceph 集群给 openstack 用,以及 ceph-csi-rbd 作为 k8s 的 storageclass
    jabari
        36
    jabari  
       2022-01-05 10:16:44 +08:00
    @pydiff #3 ceph 的坑挺多的...需要专门的运维搞
    pydiff
        37
    pydiff  
    OP
       2022-01-05 11:55:33 +08:00 via iPhone
    @PyTx 国产化要求,红帽是不会采购的,好像那个 xsky 还行
    xiaooloong
        38
    xiaooloong  
       2022-01-05 22:17:37 +08:00
    longhorn 0.7 的时候试过,不靠谱。后来干脆直接有状态不上 k8s 。
    Akiya
        39
    Akiya  
       2022-01-06 11:56:34 +08:00
    要采购,而且还要国产那无非就是华为浪潮这几家呗
    vbggf
        40
    vbggf  
       2022-01-07 10:17:44 +08:00
    @pydiff 我在 XSKY ,方便留个联系方式么,我请服务团队的同事联系您,聊下您的具体需求?
    pydiff
        41
    pydiff  
    OP
       2022-01-07 15:58:44 +08:00 via iPhone
    @vbggf 不好意思哈,这个选型不是我能决定的,我们有专门联系厂商的人的
    codebee
        42
    codebee  
       2022-06-10 20:33:40 +08:00
    @xin053 不建议用 rook 的原因是什么呢,详细说说
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4881 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:02 · PVG 18:02 · LAX 02:02 · JFK 05:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.