请教数据整合处理的问题

[iian]

https://i.imgur.com/11yO3cr

工作中遇到以下情况：
1.有些安全设备可以提供 API 接口，例如可以读取到当前中毒的用户 ID ；另外一些设备仅能提供 syslog 日志，需要从日志中过滤出有问题的 IP 。
2.内部已有 ETL 工具可以将 API 获取到的用户 ID 或者 syslog 日志进行数据处理。

存在的问题：
3.ETL 工具无法通过 API 将处理后的数据提交到右侧的系统中，例如将 1 中过滤出的 ID 通过认证系统的 API 提交将用户在认证系统中禁用。
4.ETL 工具无法执行网络设备的命令或者 shell 脚本对有问题的 IP 添加到黑名单中。

疑问：
5.对 ETL 不了解，可能 ETL 本身就不是处理此类问题的，那应该用什么方式处理？
6.是不是中间这个环节就不应该使用 ETL ，或者 ETL 之后还应当有个平台拿到 ETL 输出的数据然后调用 API 或执行一些编辑好的命令？

请问是否有一个通用的平台能处理此类问题？还是只能写脚本“定制化”处理每个问题？

[liprais]

这跟 etl 有啥关系
数据整合好了谁要用谁自己来拿呗
或者谁要用谁自己提供个 consume 的方法呗

[FYFX]

ETL 只做数据处理啊，如果需要消费的话就让 ETL 把最终结果保存在 MySQL/Redis 之类的存储引擎就好，然后看情况是直连存储引擎还是通过平台配置接口（理论上只提供数据查询接口），然后业务逻辑是调用方自己做的，不过至于平台这个得看你所在的公司了，我之前在美团的时候是都有的

[iian]

@liprais
@FYFX

我负责的是左侧的安全检测设备和右侧的认证系统、防火墙设备。

现在想了解的是有没有现成的平台可以从 A 系统的 API 获取并信息处理，然后调用 B 系统的 API 提交数据（此处还希望能实现例如 ssh ip 后，执行固定的几个命令将从 A 系统拿到的 IP 添加到黑名单中）。

[dayeye2006199]

你说的是 reverse etl ，其实没有特别好的开源工具。考虑商业的话可以考虑 hightouch ，配合自定义 webhook 使用。

https://hightouch.io/docs/destinations/webhook/

[iian]

@dayeye2006199 看了下介绍，reverse etl 应该就是我需要的东西，我再查查相关资料。感谢。