ES 集群节点角色配比，求大佬指点一下

[SKYNE]

0. 背景

a. 前面发了一个贴介绍了当前集群的一些情况，请移步之前的发帖

b. 同时也非常感谢几位前辈的建议

c. 现在要准备实操优化了，自己准备分两个阶段进行:

​ 阶段一: 集群角色和资源配置优化

​ 阶段二: 冷热数据分离和索引生命周期管理

d. 下面是自己准备对阶段一的方案，希望有优化维护 ES 集群的大佬帮忙指点一下，非常感谢

1. 原集群角色和资源配置概况

a. 集群角色配置不合理，没有设置属性，无法做冷热数据分离，也就无法配合做索引生命周期管理

b. 下面是具体的节点角色和资源配置情况，更详细的背景和介绍，请移步之前的发帖

c. 上次发帖说错了一个重要事情，存储都是 固态硬盘自己给说成了机械硬盘。。。

2. 节点角色变更

​ a. 准备配置 3 台 Master，8G 内存。4 台 Ingest，31G 内存。2 台 Coordinating-Only，31G 内存

​ b. 准备配置 34 台 Data 节点，31G 内存。24 台 Hot，8 台 Warm，2 台 Cold，比例 12：4：1

​ c. 因为数据节点资源配置相同，故从数据节点数量上来配比，使得资源往不同属性节点倾斜

3. ILM 配置

a. Hot: 使用 Rollover，max_size 超过 100G 时滚动，优先级设置为 100

b. Warm: 超过 90 天的索引移动到 warm 节点，一个副本分片，shrink 到 4 个主分片并 ForceMerge，优先级 50

c. Cold: 超过 240 天索引移动至 cold 节点，0 个副本并 Freeze 索引

d. Delete: 无

4. 其他配置

a. 原索引模板默认 32 的主分片，一个副本分片，准备变更为 默认 16 个主分片，1 个副本分片

​ 依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G

b. 关闭 Data 节点的 Http 功能

5. 忧心忡忡

a. Master 节点 8G 内存是否有点少

b. Data 节点的配置比例是否合理

c. Ingest 节点与 Coordinating-Only 节点配比是否得当

d. 再次希望有优化维护 ES 集群的大佬帮忙指点一下，超级感谢

[iceecream]

菜鸟来问问，单机多实例，是不是你的十多台机器，每台跑 4 个节点，如果掉了一台，4 个节点挂掉，岂不是要丢数据？

[SKYNE]

@iceecream 嗯嗯，会存在这样的因为主机层面的原因导致四个节点同时离线，要是有虚拟化的平台就好很多了，主要是现在也无法再对主机数量进行切分，工作量太大了。

[chennqqi]

@SKYNE 虚拟化平台也一样，物理机挂了还是会挂，ES 节点分配角色时无法决定分配均衡在不同的物理机上。ES 的设计是一台机器上只运行一个实例，这样他的角色分布能保证不同副本分布在不同节点上。版本 ES5，ES6 、7 是否实现了虚拟化场景下的 node 分布不清楚。我感觉 ES 的设计其实是一个 CP 系统，不是 AP 系统，不知道理解的对不对