V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
damngoto
V2EX  ›  Serverless

几百万条更新频率很低的数据用什么低(零)成本的存储方便查询?

  •  
  •   damngoto · 129 天前 · 1271 次点击
    这是一个创建于 129 天前的主题,其中的信息可能已经有所发展或是发生改变。

    放到数据库虽然查询快,但是成本对我来说高了:)

    放到 csv 里面费内存,serverless 服务的还不太好调用。

    Apache 有个 parquet 格式,不知道这个量级查询速度怎么样。

    9 条回复    2022-07-26 19:05:39 +08:00
    pota
        1
    pota  
       129 天前
    数据少的话放到 cloudflare workers kv 里面?
    gfreezy
        2
    gfreezy  
       129 天前   ❤️ 1
    sqlite 可以吗
    EchoUtopia
        3
    EchoUtopia  
       129 天前
    之前看过一个很强很便宜方案:用 sqlite 存储分片数据,把 sqlite 数据库文件存储到对象存储里面去(非常便宜),然后使用 serverless 去查询分片数据,最后再聚合一次
    damngoto
        4
    damngoto  
    OP
       129 天前
    @pota workers kv 支持多少数据
    pota
        5
    pota  
       129 天前   ❤️ 1
    @damngoto #4 空间 1GB
    damngoto
        6
    damngoto  
    OP
       129 天前
    @EchoUtopia 嗯,我想到的也是类似。主要担心查询速度和同时服务用户数,😁
    damngoto
        7
    damngoto  
    OP
       129 天前
    @pota 哇,那应该够了。我去了解下。
    gesse
        8
    gesse  
       129 天前
    @EchoUtopia
    有地址可以看吗?
    EchoUtopia
        9
    EchoUtopia  
       128 天前
    @gesse
    @damngoto
    忘了,好像聚合是利用 postgres 聚合的,性能非常好,关键价格便宜。并发就不知道了。当时是在 twitter 刷到的,好像是发布在 hackernews 上的。
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3149 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 102ms · UTC 10:54 · PVG 18:54 · LAX 02:54 · JFK 05:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.