V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
monetto
V2EX  ›  Elasticsearch

ES 从 File System Cache 到 Segment 大概会耗时多少呢

  •  
  •   monetto · 2022-08-25 17:54:25 +08:00 · 1569 次点击
    这是一个创建于 581 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看 ES 原理,有一段大致是这样介绍的。

    ES 将数据写入到 Memory Buffer ,同时也会将数据写入到 Translog 。

    Memory Buffer 在历经 Refresh Interval ( 1 秒) 之后会把数据写入到 File System Cache ,再由 File System Cache 写入到 Segment 。

    而 数据写入到 Translog 之后,要经过 5 秒 才会持久化到磁盘 log 中。

    我理解 Translog 本身应该是类似于 MySQL Binlog 一样是防止数据丢失的。

    但是目前看来 5s 的时间是否过长了,我理解 5s 怎么也完成 数据 从 内存 持久化 到 Segment 了啊..

    4 条回复    2022-08-26 11:51:58 +08:00
    1018ji
        1
    1018ji  
       2022-08-25 18:25:38 +08:00
    https://www.cnblogs.com/huss2016/p/14706326.html

    不知道对不对,你瞅瞅吧
    q474818917
        2
    q474818917  
       2022-08-25 18:51:27 +08:00
    这应该是定时频率,类似 mysql 的 redo log
    anjiannian
        3
    anjiannian  
       2022-08-26 10:00:11 +08:00 via Android
    数据在写入 file system cache 和 segment 后仍然在内存中没有落盘的,数据落盘是根据 translog 的大小 index.translog.flush_threshold_size 或者 30 分钟才会触发 flush 操作
    LeegoYih
        4
    LeegoYih  
       2022-08-26 11:51:58 +08:00
    可以将 translog 设置成每次写操作直接 fsync 到磁盘,但是性能会差很多。

    Elasticsearch 作为搜索引擎,不应该用数据库的思路来使用,牺牲一点点一致性保证可用性是可以理解的,如果发生崩溃故障,可以手动触发同步宕机前一段时间的数据
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2591 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 15:54 · PVG 23:54 · LAX 08:54 · JFK 11:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.