V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
ropon

请问 k8s 如何将 pod 均匀调度到每个 node 上

  •  
  •   ropon · Aug 20, 2020 · 5386 views
    This topic created in 2089 days ago, the information mentioned may be changed or developed.

    请问 k8s 如何将 pod 均匀调度到每个 node 上? 目前遇到问题,node 负载不均?

    12 replies    2020-09-16 10:19:27 +08:00
    lixia625
        1
    lixia625  
       Aug 20, 2020
    pod affinity?
    whileFalse
        2
    whileFalse  
       Aug 20, 2020
    首先,你的 deployment 给 pod 设置了资源需求 /资源限制吗?
    SkyYu822
        3
    SkyYu822  
       Aug 20, 2020
    做个软性的 pod anti affinity
    ropon
        5
    ropon  
    OP
       Aug 20, 2020 via iPhone
    @StarUDream
    你说的亲和性及污点调度
    有具体思路吗?目前无头绪
    pwli
        6
    pwli  
       Aug 20, 2020
    自己反自己可以不 :)
    orcusfox
        7
    orcusfox  
       Aug 20, 2020 via iPhone
    如果每个 node 有且仅有一个 pod,用 daemonset 。如果只是要均匀分布,就用 anti affinity 。讲真不一定有很大意义,而且可能干扰到 rollingUpdate
    hwdef
        8
    hwdef  
       Aug 20, 2020
    6 楼的想法比较正确,pod 打个 label,如果 node 上有这个 label 的 pod 了,就反亲和
    ManjusakaL
        9
    ManjusakaL  
       Aug 20, 2020   ❤️ 1
    1. 确保资源能够满足需求

    2. 给节点打上 Label,可以做亲和性调度

    3. Pod 带 Label,用反亲和来做 Pod 打散

    4. 亲和和反亲和中具体是用 **requiredDuringSchedulingIgnoredDuringExecution** 还是 **preferredDuringSchedulingIgnoredDuringExecution** 看你自己场景
    594duck
        10
    594duck  
       Aug 20, 2020   ❤️ 1
    你是几台机器做的 K8s 呀。亲和和反亲和是有上限的,这不是解决问题的良药。

    良药是什么呢,你现在是 30 台物理服务器跑的 Docker 你把 30 台扩充成 60 台,你会发现问题就解决多了。


    那所谓的云原生优势在哪里呢,大佬们会告诉你,你不应该自己安装 K8s,你应该用我们的 K8s 服务,我们有 2000 台服务器帮你做调度。

    所以我们选择不搞 K8s,就一个萝卜一个坑蛮好的。萝卜不够了,就临时开机器 加坑。一个月不会比 K8s 反复折腾贵的
    dreamusername
        11
    dreamusername  
       Aug 27, 2020
    楼主的问题是,发现 node 节点的资源利用率不均,这个问题一般用两种方法去尝试解决:
    - 亲和性与反亲和性,每个 node 上只存在一个 deploy/sts 的 pod
    - 严格的 resources,每个 deploy/sts 均设置 limits 与 requests
    但是这两种都上线了以后,还会发现 node 资源利用率不均。
    只能换个角度看待这个问题,scheduler 是自带的,如果你已经设置完以上两步,是已经可以满足服务的稳定性了,这时候的问题是成本问题,而不是服务的稳定性问题了。
    yuzhiquan
        12
    yuzhiquan  
       Sep 16, 2020
    `topologySpreadConstraints`
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2922 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 11:43 · PVG 19:43 · LAX 04:43 · JFK 07:43
    ♥ Do have faith in what you're doing.