V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
holinhot
V2EX  ›  MySQL

问一个 mysql 数据表设计问题。

  •  
  •   holinhot · 2019-12-24 22:10:17 +08:00 · 4315 次点击
    这是一个创建于 1556 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需要统计每个网站使用的流量记录。数据主要来至多个 ELK 集群.定期更新到 mysql 方便前端展示和画图。

    如果设计为每 1 分钟同步更新至 mysql 这个表怎么来设计好好呢。

    traffic_logs table:
    +---------------+------------+------------+------------+---------------------+
    | website | date | inbound | outbound | last_updated

    如果这样,1 分钟同步一次,数据保留一年,1440*365=525600 这样一来一个站一年有 50 万条记录。如果有 1 万个 host,这表里高达 5256000000(52 亿)条记录。一个表这么大,这肯定玩完啊。一般一个表几百万查询统计就很慢了。
    Raymon111111
        1
    Raymon111111  
       2019-12-24 22:17:49 +08:00
    貌似数据类型是时间序列, 那有比 mysql 更好的解决方案

    至于如果真的用 mysql 怎么搞

    首先就像你说的, 每分钟一个点, 一年数据存死了, 怎么办?

    考虑业务妥协, 比如

    1. 真的需要一年前的数据吗, 业务价值在哪, 谁会去用它?
    2. 六个月以前的数据聚合行不行? 十五分钟一个平均点
    3. 六个月以前的数据换存储方案(比如文件), 要查可以, 接受查询比较慢
    4. 这个数据最后会怎么用, 是聚合还是真的需要一分钟一个点去展示, 如果是聚合那定时任务聚合好直接用聚合好的数据展示行不行


    (最后像是这种统计类的数据, mysql 存储全量肯定是不行的, 一般都是存个最近几天的数据, 查起来快, 历史数据全部扔到类似文件存储, 存储量大查询满. 另外 50 亿的数据分库分表也是可以搞定, 但这么大的成本为了存这个数据得考虑考虑投入产出比啊
    holinhot
        2
    holinhot  
    OP
       2019-12-24 22:45:10 +08:00
    @Raymon111111 可能要做一些妥协和优化。可能改成最近 1 小时的为每分钟一个点,最近 6 小时为 15 分钟一个点,最近 12 小时为 30 分钟一个点,最近 24 小时为 60 分钟一个点。

    超过 24 小时都按天计了。

    怎么设计表好一点
    dorothyREN
        3
    dorothyREN  
       2019-12-25 00:14:50 +08:00
    加一个历史表,一周以前的全部扔进历史表里面。真的需要历史数据的时候再去查
    altboy
        4
    altboy  
       2019-12-25 11:08:31 +08:00
    萌新疑惑🤔,即然都是 ELK 了,即然要展示和画图了,不知道 mysql 究竟方便在哪了? Kibana 它不香吗?
    holinhot
        5
    holinhot  
    OP
       2019-12-25 13:20:15 +08:00
    @altboy Kibana 数据量太大,只保留一个月的日志
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2820 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:33 · PVG 21:33 · LAX 06:33 · JFK 09:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.