V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Evan0302
V2EX  ›  Elasticsearch

怎么从 ES 中取出 20w 数据

  •  
  •   Evan0302 · 2018-09-19 23:31:00 +08:00 · 3934 次点击
    这是一个创建于 2017 天前的主题,其中的信息可能已经有所发展或是发生改变。
    10 条回复    2020-09-29 20:23:28 +08:00
    Evan0302
        1
    Evan0302  
    OP
       2018-09-19 23:32:36 +08:00
    最好一次性取出来
    windfarer
        2
    windfarer  
       2018-09-19 23:45:53 +08:00 via Android
    prolic
        3
    prolic  
       2018-09-19 23:55:06 +08:00 via Android
    search after 还是 after search 来的
    ClutchBear
        4
    ClutchBear  
       2018-09-20 09:19:08 +08:00
    es 我记得一次性最多取一万条.
    没法一次性的,
    只能用 scroll
    qinxi
        5
    qinxi  
       2018-09-20 13:54:15 +08:00
    @ClutchBear 1W 是默认值 可以改
    reself
        6
    reself  
       2018-09-20 19:35:52 +08:00 via Android
    @qinxi 不管是 1w 还是多少,search api 禁止深翻页。获取数据请用 scroll。
    Evan0302
        7
    Evan0302  
    OP
       2018-09-20 21:10:15 +08:00
    公司业务坑爹啊,之前用的 redis:keys。。。。
    rmrdf
        8
    rmrdf  
       2019-03-05 10:20:59 +08:00
    还是用 scroll 分页查询吧,20w 条 很快的
    demohjw
        9
    demohjw  
       2020-09-18 08:43:52 +08:00
    @rmrdf 我这边 20 万条,通过 scroll 分页查询取出来,需要 20 多秒,这也太慢了,mysql20 万数据返回都不到 1 秒,这是什么原因呢,我的 es 配置,8 核,8G,能告知一下不
    rmrdf
        10
    rmrdf  
       2020-09-29 20:23:28 +08:00
    @demohjw scroll size 设置 1w 20s 有点久。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   952 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 21:12 · PVG 05:12 · LAX 14:12 · JFK 17:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.