V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Gorgine
V2EX  ›  程序员

[es]数据分页方案

  •  
  •   Gorgine · 2022-07-06 13:00:43 +08:00 · 1693 次点击
    这是一个创建于 875 天前的主题,其中的信息可能已经有所发展或是发生改变。

    a 、b 两个 index 是两种类型消息的索引 一个是直播间老师发的 一个是直播间学员发的 现在合并在一起 取了一个别名 c 这样我在查询的时候可以通过 c 查到所有消息 但是 a 和 b 的_id 可能会存在重复。。

    现在遇到的问题是:分页数据重复问题 因为消息发得比较快 所以当翻页到第二页的时候 可能会出现已经出现过在第一页的数据

    首先想到的是通过_id 定位分页 就是拿上一页最大的_id 去查第二页的数据 但是:a 和 b 的_id 可能会重复(_id 不是自动生成的,mysql 表的 id 拉过来的),所以 pass ,,

    第二种方案是:通过一个固定的消息时间去搜索总数据 这样不会出现第二页出现第一页的数据的情况了 但是不太符合前端的场景

    类似于 APP 端的那种直播间 最新消息在最下面 要看历史消息要往上翻页 这种方案对于往上翻是满足的

    但前端做了轮训的功能 相当于要提供一个接口 返回增量消息 这种方案传一个固定时间点的话 返回的将是比这个时间点新的累计的消息 这样不行 如果是传当前页的最大消息时间来获取增量消息 又会出现数据重复问题(可能会出现上一页的消息 时间点重复的话)

    SO 如何解决 求助 V 友

    13 条回复    2022-07-06 17:38:25 +08:00
    loveyu
        1
    loveyu  
       2022-07-06 13:03:08 +08:00
    一次性把 id 全部查出来缓存,然后分页,第二页走缓存
    HackerJax
        2
    HackerJax  
       2022-07-06 13:08:31 +08:00 via iPhone
    搜索 es 游标查询
    Gorgine
        3
    Gorgine  
    OP
       2022-07-06 13:11:18 +08:00
    @HackerJax 这个看过 领导说 场景不适合 scroll 的话时间可能得设置很久 比较浪费资源吧
    Gorgine
        4
    Gorgine  
    OP
       2022-07-06 13:13:01 +08:00
    好不容易知道还有种分页叫 search after 可以解决翻页数据重复的问题 结果后来知道_id 可能是重的。。
    Gorgine
        5
    Gorgine  
    OP
       2022-07-06 13:15:09 +08:00
    反正要解决两个问题 一个是翻页消息不能重 另一个是方便拉取新 /增量消息
    crysislinux
        6
    crysislinux  
       2022-07-06 13:33:22 +08:00 via Android
    前端自己过滤掉重复的就好了,取的时候多取几条。像推荐之类的也是这样防止重复的
    reter
        7
    reter  
       2022-07-06 13:46:56 +08:00
    search after 也可以啊.
    确定一条消息的唯一性可用的属性有:发送时间,消息 ID ,消息来源。只要 "消息 ID"+"消息来源" 的组合你如果能保证唯一性就可以。

    然后用 search after 搜索,排序用这三个字段,就能保证不重复获取
    Gorgine
        8
    Gorgine  
    OP
       2022-07-06 14:02:07 +08:00
    @reter 我试了好像不行 时间一样的话 search after 下一页的时候就跳过了时间一样的数据了
    Gorgine
        9
    Gorgine  
    OP
       2022-07-06 14:03:01 +08:00
    @Gorgine search after 加其他字段组合
    Gorgine
        10
    Gorgine  
    OP
       2022-07-06 14:11:36 +08:00
    @reter 好像可以
    Gorgine
        11
    Gorgine  
    OP
       2022-07-06 14:12:18 +08:00
    @reter 第一页传啥呀 dsl search after 里面
    THESDZ
        12
    THESDZ  
       2022-07-06 15:46:33 +08:00
    @Gorgine #11 排好序,传空就行
    Gorgine
        13
    Gorgine  
    OP
       2022-07-06 17:38:25 +08:00
    @THESDZ @reter 感谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5460 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 07:33 · PVG 15:33 · LAX 23:33 · JFK 02:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.