V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
young1
V2EX  ›  程序员

大数据量优化

  •  
  •   young1 · 1 天前 · 832 次点击
    各位大佬,我主要干 GIS 领域,然后现在做一些地质类的项目的时候,就碰到了一个问题:
    一个项目做勘察,可能有很多个钻孔,然后每个钻孔会有很多信息,存储不同的表。然后如果遇到做项目归档成果导出类似的需求的时候,就需要根据项目吧所有钻孔信息做整合生成报表。怎么样做才能使效率最高化,还不容易出错。( JAVA 仔)
    7 条回复    2024-11-08 10:18:17 +08:00
    NikoXu
        1
    NikoXu  
       1 天前
    spring data jap 的 entity 支持继承吧 , 可以把公共的字段放在父表里面
    7911364440
        2
    7911364440  
       1 天前
    平铺吧,表越多就越复杂,效率也越慢
    spritecn
        3
    spritecn  
       1 天前
    不 join 的话,内存够的话,还是很快的吧,不行就提前全推给 ES,再拉出来
    Meld
        4
    Meld  
       1 天前
    我理解也不是很常调用的业务,每天凌晨跑个定时任务生成下聚合报表,需要的时候直接读这个报表就行了吧
    young1
        5
    young1  
    OP
       1 天前
    @Meld 现在也是用的后台任务去执行,但是数据有可能会发生改变,而且客户更期望的是通过接口直接返回 ZIP 结果进行下载那种效果
    Meld
        6
    Meld  
       1 天前
    @young1 哦,那确实需要实时聚合下,数据量级大概是多大的?看起来数据量不大,只是拆的表比较细?
    sampeng
        7
    sampeng  
       9 小时 30 分钟前
    导出报表是数据分析的活。数据量看有多大,笛卡尔积如果超过十亿。就应该上 clickhouse 之类的宽表服务
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2705 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 11:48 · PVG 19:48 · LAX 03:48 · JFK 06:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.