From f47542435353499aab2bbaf4fcdfa0fa0430dfb5 Mon Sep 17 00:00:00 2001 From: Ti Chi Robot Date: Wed, 13 Nov 2024 18:06:50 +0800 Subject: [PATCH] cdc: add description about ticdc lightning compatibility (#19047) (#19068) --- ticdc/ticdc-compatibility.md | 23 ++++++++++++++----- ...b-lightning-compatibility-and-scenarios.md | 2 ++ 2 files changed, 19 insertions(+), 6 deletions(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index 95446d460c26..16888e94e19f 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -7,15 +7,26 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 本文介绍了与 TiCDC 有关的一系列兼容性问题及其处理方案。 - +1. 创建 changefeed,详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 +2. 启动 TiDB Lightning 并使用逻辑模式模式导入数据,详情参考[使用逻辑导入模式](/tidb-lightning/tidb-lightning-logical-import-mode-usage.md)。 + +在物理导入模式下,TiDB Lightning 通过向 TiKV 插入 SST 文件的方式导入数据。TiCDC 与此模式不兼容,不支持同步通过物理模式导入的数据。如果你需要同时使用 TiDB Lightning 物理导入模式和 TiCDC,可以根据 TiCDC 下游系统的类型选择以下解决方案: + +- 下游系统是 TiDB 集群: + + 1. 使用 TiDB Lightning 分别向上下游 TiDB 集群导入数据,以确保两个集群的数据一致性。 + 2. 创建 changefeed,用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 + +- 下游系统不是 TiDB 集群: + + 1. 使用下游系统提供的离线导入工具,将 TiDB Lightning 的输入文件导入到下游系统。 + 2. 创建 changefeed,用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 ## 命令行参数和配置文件兼容性 diff --git a/tidb-lightning/tidb-lightning-compatibility-and-scenarios.md b/tidb-lightning/tidb-lightning-compatibility-and-scenarios.md index 362d27e45fcd..b74416c7b095 100644 --- a/tidb-lightning/tidb-lightning-compatibility-and-scenarios.md +++ b/tidb-lightning/tidb-lightning-compatibility-and-scenarios.md @@ -17,6 +17,8 @@ summary: 了解 IMPORT INTO 和 TiDB Lightning 与日志备份和 TiCDC 的兼 - TiDB Lightning 的[物理导入模式](/tidb-lightning/tidb-lightning-physical-import-mode.md)与日志备份以及 TiCDC 均不兼容。原因是 TiDB Lightning 物理导入模式是将源数据编码后的 KV Pairs 直接 Ingest 到 TiKV,该过程 TiKV 不会产生相应的 Change log,由于没有这部分的 Change log,相关数据无法通过日志备份的方式备份,也无法被 TiCDC 复制。 +- 如果你需要在同一个集群上同时使用 TiDB Lightning 和 TiCDC,请参考 [TiCDC 与 TiDB Lightning 的兼容性](/ticdc/ticdc-compatibility.md#ticdc-与-tidb-lightning-的兼容性)。 + - `IMPORT INTO` 与日志备份以及 TiCDC 均不兼容。原因是 `IMPORT INTO` 的导入过程也是将源数据编码后的 KV Pairs 直接 Ingest 到 TiKV。 ## TiDB Lightning 逻辑导入模式的使用场景