V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
TESTFLIGHT2021
V2EX  ›  程序员

SQLite 处理 100 万数据点,性能如何?

  •  
  •   TESTFLIGHT2021 · 2023-09-02 09:53:24 +08:00 · 2432 次点击
    这是一个创建于 452 天前的主题,其中的信息可能已经有所发展或是发生改变。
    每个数据点,有序号,时间,还有 10 个 double 形浮点数
    处理 100 万数据点,查找任意点,排序之类的,性能如何?

    另外 文件的完整性如何检查,如果数据库文件损坏,sqlite 自己能检查发现么?
    6 条回复    2023-09-02 21:56:37 +08:00
    centralpark
        1
    centralpark  
       2023-09-02 10:09:40 +08:00
    自己试试不就知道了,这么点数据很好生成吧。从我的经验来看,只能定性地说,性能不成问题。
    TESTFLIGHT2021
        2
    TESTFLIGHT2021  
    OP
       2023-09-02 10:11:22 +08:00
    @centralpark 好的~我试试看
    AnroZ
        3
    AnroZ  
       2023-09-02 10:16:06 +08:00
    一般的时序数据记录总条数在 200w ~ 400w 规模,可以直接存 sqlite 。
    性能好久没具体统计过了,在普通 PC 上随机查询 1000 条记录,大致在 0.05 秒内。
    存储过程中主机异常断电可能会碰到数据库文件损坏的情况,但在打开的时候会有错误提示,修复也比较简单。
    NoOneNoBody
        4
    NoOneNoBody  
       2023-09-02 11:01:38 +08:00
    绰绰有余,不过需要索引
    只要用了事务,它不是即时写入的,不容易坏文件

    压缩和优化最好选时间,虽安全但耗时
    codehz
        5
    codehz  
       2023-09-02 11:30:38 +08:00 via iPhone
    是向量搜索吗,那可能需要用一些特别的技巧
    指 sqlite vss
    Soar360
        6
    Soar360  
       2023-09-02 21:56:37 +08:00   ❤️ 1
    代码之巅,天外飞仙!

    http://feixian.newlifex.com/
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5422 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 05:52 · PVG 13:52 · LAX 21:52 · JFK 00:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.