V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jabari
V2EX  ›  问与答

有人使用 debezium 增量同步过 mongodb 吗?

  •  
  •   jabari · 2021-08-13 18:11:47 +08:00 · 1033 次点击
    这是一个创建于 1198 天前的主题,其中的信息可能已经有所发展或是发生改变。

    按照这个连接: https://debezium.io/documentation/reference/connectors/mongodb.html#mongodb-performing-a-snapshot 的说明,创建一个新名字的 connector,应该会执行 snapshot,实际上并没有同步任何数据,部分日志提示

    After applying the include/exclude list filters, no changes will be captured. Please check your configuration

    connector 配置:

    {
      "name": "mongo-material", 
      "config": {
        "connector.class": "io.debezium.connector.mongodb.MongoDbConnector", 
        "mongodb.user": "",
        "mongodb.password": "",
        "mongodb.hosts": "overseatestmongo1/10.130.84.32:10020,overseatestmongo1/10.130.84.24:10017",
        "mongodb.name": "test",   
        "MongoDB.authsource": "admin",
        "database.include.list": "db_sky",
        "collection.include.list": "db_sky.material",
        "snapshot.include.collection.list": "db_sky.material",
        "database.history.kafka.bootstrap.servers" : "kafka:9092",
        "snapshot.mode": "initial",
        "snapshot.max.threads": 2
      }
    }
    
    

    完整日志 https://gist.github.com/zhiyue/0230830edb9b07b520152fc30d0f42d8

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2255 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 79ms · UTC 00:19 · PVG 08:19 · LAX 16:19 · JFK 19:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.