V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Cola98
V2EX  ›  Kubernetes

看看大佬们的个人 K8S 集群以及存储方案

  •  
  •   Cola98 · 85 天前 · 2564 次点击
    这是一个创建于 85 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟搭建了一个三节点 K8S 集群,master 节点是 4C8G node 节点都是 2C4G ,目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件,但是奈何配置问题,存储一直是一个问题,之前使用 openEBS 体验还行,后来换成 rook 后配置似乎跟不上了,请教各位大佬的存储方案都有些啥

    35 条回复    2023-04-12 17:56:49 +08:00
    CodeWind
        1
    CodeWind  
       85 天前
    乞丐版路过。先说背景,目前是腾讯云三台轻量,Master 2H4G ,Node 一台 4H4G ,一台 2H4G ,Master 挂载一块 100G 轻量云硬盘,使用 NFS 给 K3S 集群使用。
    计划通过 Alist 来挂载三方存储(主要是阿里云盘),定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。
    tftk
        2
    tftk  
       85 天前
    个人搞个集群使用场景是啥呢
    wxw752
        3
    wxw752  
       85 天前
    @tftk 对于我来说就是模拟实战,不会就没法在公司用。
    optional
        4
    optional  
       85 天前
    klafka/es/redis ,这些本身支持分布式部署,可以直接用 local storage 获取性能提升。
    Cola98
        5
    Cola98  
    OP
       85 天前
    @optional ok 之前没有注意到这点,一直都是 CSI 这种,感谢大佬
    Cola98
        6
    Cola98  
    OP
       85 天前
    @CodeWind 了解,我看 hostpath 好像发生调度之后就会使用不了,所以就没考虑过 hostpath
    Cola98
        7
    Cola98  
    OP
       85 天前
    @tftk 和楼下大哥一样,主要是个人学习和开发~
    levelworm
        8
    levelworm  
       85 天前 via Android
    @wxw752 我也准备自学一下,搞了台二手 32gb 内存 2T 硬盘的乞丐服务器,不知道能不能用。。。
    ysicing
        9
    ysicing  
       85 天前   ❤️ 1
    搞了 3 套 k3s 集群,国内两套,香港一套,反正都在吃灰。
    国内跑主要服务,其中一套用腾讯云 cfs 基于 nfs ,另外一套基于某个节点做的 nfs
    香港跑的 web 服务没有持久化,即使有丢弃也没事 empty 方式

    目前体验还行,除了 prometheus 需要控制一下,其他都还行。
    Actrace
        10
    Actrace  
       85 天前
    怎么说呢,这个时间节点,我觉得 k8s 可能撑不久了。
    毕竟 OpenAI 出来之后,只需要把服务器交给它管理就行了。
    lhx2008
        11
    lhx2008  
       85 天前
    真到了生产其实也不建议搞数据库,维护很困难
    lhx2008
        12
    lhx2008  
       85 天前
    本地存储,阿里有开源一套本地盘做的还不错,用的 LVM ,不怕困难也可以 Longhorn
    sniperking1234
        13
    sniperking1234  
       85 天前
    @Actrace 出了问题怎么办,调试 AI 源码?
    echo1937
        14
    echo1937  
       85 天前
    @Actrace #10 你说的那是<流浪地球 2>当中的智能量子计算机 550 系列。
    hhjswf
        15
    hhjswf  
       85 天前 via Android
    @CodeWind 单 master 也能算集群吗
    liuhan907
        16
    liuhan907  
       85 天前
    我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储,不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用,也不在乎 HA 啥的,NFS 够用了。Rook 那玩意太吃配置了,ceph 本身三主+三副本就需要六节点,还有 k8s 自己的资源消耗。
    securityCoding
        17
    securityCoding  
       85 天前 via Android   ❤️ 1
    公司配了 16u32g 测试服务器,几乎没用过,jetbrains gateway 太废物了
    xxfye
        18
    xxfye  
       85 天前   ❤️ 1
    通通都扔到 s3 上,计算和存储分离
    yzld2002
        19
    yzld2002  
       85 天前
    idblife
        20
    idblife  
       85 天前 via iPhone
    @securityCoding
    vscode ssh remote
    leaflxh
        21
    leaflxh  
       85 天前   ❤️ 1
    nfs 或者 minio
    Cola98
        22
    Cola98  
    OP
       85 天前
    @liuhan907 确实,rook 对于我目前的配置还是太大了
    hzfyjgw
        23
    hzfyjgw  
       85 天前   ❤️ 1
    local-path-provisioner 的 local-path-storage
    securityCoding
        24
    securityCoding  
       85 天前 via Android
    @idblife 试了好几次用不习惯,全家桶太香了
    Cola98
        25
    Cola98  
    OP
       85 天前
    后续来了,最后还是选择用 openEBS hostpath 的方法,使用简单,之前用过 lvm 的方式,需要在每个节点上配置比较麻烦,还有一些其他的 CSI 还没测试过,比如 juiceFS 等等,有机会了打算在继续尝试下,感谢各位大佬的回复!
    vhwwls
        26
    vhwwls  
       85 天前
    裸考过了 CKA 的运维路过。。。。第一次听说个人还搞个 K8s 用的,我是一直在笔记本上跑集群
    https://ppt.cc/fayiex
    root01
        27
    root01  
       85 天前
    @vhwwls 求分享笔记
    sampeng
        28
    sampeng  
       84 天前
    个人搞 k8s 实在想不出有什么价值。。。
    Cola98
        29
    Cola98  
    OP
       84 天前
    @sampeng 自己开发和学习用= =
    zhujq
        30
    zhujq  
       84 天前   ❤️ 1
    自己用还是不要用 rook ,ceph 了吧,除了耗资源想不出其他好处
    Cola98
        31
    Cola98  
    OP
       83 天前
    @zhujq 是的,现在用了 openEBS
    pmx1990
        32
    pmx1990  
       69 天前
    重要数据 local + 主从
    vhwwls
        33
    vhwwls  
       69 天前
    @root01 #27 没做什么笔记,就凭平时自己在公司用的那些东西直接去考了。不过如果你要笔记的话 B 站上应该有很多可以去看看
    runzhliu
        34
    runzhliu  
       56 天前
    这个节点的配置,想跑这么多组件,感觉是够呛的了
    Cola98
        35
    Cola98  
    OP
       55 天前
    @runzhliu 嗯嗯,后续不打算使用 es 了,太占用资源了
    关于   ·   帮助文档   ·   博客   ·   nftychat   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4494 人在线   最高记录 5634   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 238ms · UTC 09:50 · PVG 17:50 · LAX 02:50 · JFK 05:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.