V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
KOSKERS
V2EX  ›  Scala

请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能

  •  
  •   KOSKERS · 2019-04-23 11:05:23 +08:00 · 5553 次点击
    这是一个创建于 1801 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大家好,请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能。 目前 Flume 和 Kafka 的相关功能已经通了。但是 spark 没什么使用经验。 看网上教程是要自己写 Scala 脚本然后打成 jar 包给 Spark 执行。

    我想用 spark 实现检测 kafka 的数据流,如果发现 error 字样,就发送邮件。 请问各位大佬有没有相关脚本或者教程的地址可以参考的?

    谢谢大家。

    4 条回复    2019-04-23 23:00:09 +08:00
    KOSKERS
        2
    KOSKERS  
    OP
       2019-04-23 14:56:01 +08:00
    @kex0916 谢谢。我去看看
    bantao
        3
    bantao  
       2019-04-23 17:03:04 +08:00
    flume 和 spark streaming 都可以消费 kafka 的消息数据,你的场景不复杂,不需要用 sparkstreaming 了,建议写个 flume 的拦截器比较简单的 https://www.jianshu.com/p/1b083f67aacc。
    KOSKERS
        4
    KOSKERS  
    OP
       2019-04-23 23:00:09 +08:00
    @bantao 你好。我的目的是监控脚本如果发现有 error。就发送邮件。我本来的想法是 flume 收集,然后 shell 查看日志发送邮件的。但是老板说这样功能太重。我网上看了看貌似都是说用 spark 做的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   963 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:33 · PVG 04:33 · LAX 13:33 · JFK 16:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.