TiCDC 使用心得

作者： 代晓磊 _Mars 原文来源：https://tidb.net/blog/20f4f0d8

TiCDC4.0.9 版本由于 sink-uri 没有强制指定版本导致同步任务无法创建

部署 ticdc 后创建同步 kafka 任务报错。

./cdc cli changefeed create –pd=http://xxxx:2379 –sink-uri=“kafka://xxxx:9092/tidbcdc?max-message-bytes=67108864&replication-factor=1”

Error: [CDC:ErrKafkaNewSaramaProducer]EOF

（1）问题出在这个集群之前我就配置过 ticdc，然后我只是 cdc cli changefeed pause 了任务。然后 scale-in 了 cdc，今天又初始化了 cdc。再次 cdc create 就报这个错误，后面就可以根据 cdc 的管理命令，删除老任务配置，create 新的即可

（2）如果还不行：4.0.8 后，ssink-url 中加入了 kafka-version=1.1.1 这个参数，目前看来，kafka 集群版本跟默认 2.4.0 集群不一致时，是需要强制指定 kafka 版本

cdc cli changefeed create –pd=http://xxxx:2379 –sink-uri=“kafka://xxxx:9092/tidbcdc1?kafka-version=1.1.1&partition-num=2&max-message-bytes=67108864&replication-factor=1” –changefeed-id=“dxl-replication-task”

(3) 排查问题时可以添加–log-level=debug 来显示更详细的报错信息

也可以看 cdc 的相关 log 找下问题

注意：以后删除 ticdc 集群需要先删除 ticdc 的同步任务，简单停止可不行。

常用 TiCDC 的命令

（1）创建同步任务

/data/deploy/cdc-8300/bin/cdc cli changefeed create –pd=http://xxxx:2379 –sink-uri=“kafka://xxxx:9092/tidbcdc1?kafka-version=1.1.1&partition-num=2&max-message-bytes=67108864&replication-factor=1” –changefeed-id=“dxl-replication-task”

（2）查看 ticdc 的 master 进程

/data/deploy/cdc-8300/bin/cdc cli capture list –pd=http://xxxx:2379

(3） 查看同步任务列表

/data/deploy/cdc-8300/bin/cdc cli changefeed list –pd=http://xxxx:2379

(4) 根据 2 步骤的同步任务 id，可以具体查看特定同步 id 的同步任务状态

/data/deploy/cdc-8300/bin/cdc cli changefeed query -s –pd=http://xxxx:2379 –changefeed-id=dxl-replication-task

（5）如何更新同步任务，比如我就调整下 kafka 的最大 message 大小：max-message-bytes

1、/data/deploy/cdc-8300/bin/cdc cli changefeed pause -c dxl-replication-task –pd=http://xxxx:2379

2、/data/deploy/cdc-8300/bin/cdc cli changefeed update -c dxl-replication-task –pd=http://xxxx:2379 –sink-uri=“kafka://xxxx:9092/tidbcdc1?kafka-version=1.1.1&partition-num=2&max-message-bytes=8388608&replication-factor=1”

3、/data/deploy/cdc-8300/bin/cdc cli changefeed resume -c dxl-replication-task –pd=http://xxxx:2379

（6）删除同步任务，注意默认任务删除后会继续保留 24 小时，—force 是强制立刻删除。

/data/deploy/cdc-8300/bin/cdc cli changefeed remove –pd=http://xxxx:2379 –changefeed-id=‘74867901-61df-4c57-b9b9-7cbb899fb1b1’ –force