V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Afar
V2EX  ›  问与答

[请教] 实验室设备日志文件的采集、解析、存储方案

  •  
  •   Afar · 2022-12-15 13:39:55 +08:00 · 770 次点击
    这是一个创建于 702 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位大佬,请教下当前实验室设备日志文件的采集、解析、存储方案,欢迎指教。

    实验室设备的日志文件格式一般都是"txt"、"csv"等,但是格式和内容差别很大,就数据解析层面而言几乎没有可复制性的,想问问各位,这种场景就只能每种类型写代码逐个解析么?有没有通用性的工具或者方案,谢谢。

    初步的想法是在实验室设备的电脑上安装 FTP 同步软件,把指定目录下的日志文件定时同步到一个文件服务器,然后通过定制代码的方式分别解析这些日志文件,再将解析后的数据插入关系数据库,如 MySQL 等。

    谢谢。

    4 条回复    2022-12-15 15:03:09 +08:00
    sujin190
        1
    sujin190  
       2022-12-15 14:20:06 +08:00
    logstash
    superchijinpeng
        2
    superchijinpeng  
       2022-12-15 14:34:13 +08:00
    Fluent Bit
    Afar
        3
    Afar  
    OP
       2022-12-15 15:02:50 +08:00
    @sujin190 正在了解 ELK ,非常感谢。
    Afar
        4
    Afar  
    OP
       2022-12-15 15:03:09 +08:00
    @superchijinpeng 谢谢。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2656 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 05:31 · PVG 13:31 · LAX 21:31 · JFK 00:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.