这是一个创建于 1296 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在自己想的结局办法有以下几个:
1: 使用 Maxwell 或 Canal,然后由另一个程序计算出之后写入 clickhouse
2: 在程序中埋点,然后再写入 rmq 或者 kafaka,再由另一个程序计算写入 clickhouse
但是现在用的数据库是 pgsql,所以 1 用不了,
如果用 pgsql 自带的 Listen/Notify 性能怎么样? 或者有其他什么好的解决方案?
在程序中埋点太累了,基本不考虑;😂
5 条回复 • 2021-06-03 07:53:47 +08:00
 |
1
troywinter 2021-06-01 20:54:42 +08:00  1
clickhouse 应该是直接支持消费 kafka 的，对于数据同步的问题，你需要 CDC(change data capture)，可以用 pg 的逻辑复制 ，debezium 做的比较好，也是现在比较流行的方案。
|
 |
2
lihaotian OP |
 |
3
undeflife 2021-06-01 23:07:09 +08:00
@lihaotian 如果你直接往 kafka 里写 json string 的话 可以不用。
当然也可以用 schema registry 。clickhouse 对这个支持还算不错 （不用 union 以外的嵌套类型）。 |
 |
4
labulaka521 2021-06-02 09:55:29 +08:00 via iPhone
我们目前是有一个程序定时去拉取 mysql 的数据 然后写入 clickhouse 基本都有一两分钟的延迟 愁死了
|
|
5
lihaotian OP @labulaka521 为什么不用 Maxwell 或者 Canal?
|
Select Language