DataMover 是一款零代码数据迁移同步集成平台,可以通过 Web 界面完成数据源连接、选表、字段映射、同步策略配置和任务监控。既可以把已有数据一次性迁到另一套数据库,也可以按计划同步增量,或通过 CDC 实时任务持续传递数据变更,适用于日常系统对接、跨库归集和信创数据库迁移等场景。
本篇使用社区免费版演示。社区版可永久免费使用,支持全部数据源,提供 1 个执行节点、3 个同步任务,每个任务最多 10 张表,足够复现本文的单表验证。还没有安装的话,可以到官网 https://datamover.cn/ 下载安装包,也可以按下文的 Docker 一键安装方式准备环境。
为什么这次专门演示 CDC?MySQL 里的订单状态改了,Kingbase 中还是旧值;源库已经删除的记录,目标库却一直保留。如果只用自增 ID 定时拉取新数据,这两种变化就容易被漏掉。
这类需求可以用 DataMover 的实时任务:先通过快照同步存量,再持续读取 MySQL binlog,把新增、更新和删除传递到人大金仓 Kingbase。下面用一张小表实际走一遍,重点看目标记录有没有跟着变,以及任务停止期间的变化能不能接着同步。
普通增量与 CDC,先选对同步方式
如果表里只追加新记录,自增 ID 配合定时拉取通常比较容易理解;如果需要处理已有记录的修改,就要确认更新时间字段是否可靠维护;如果还要捕获物理删除,则需要评估日志 CDC。
| 同步方式 | 如何识别变化 | 适用判断 |
|---|---|---|
| 普通全量 | 读取所选表中的存量数据 | 一次性搬迁、初始化或小表批量归集 |
| 普通字段增量 | 按配置的增量字段和已保存位置继续查询 | 追加数据,或每次修改都会可靠推进增量字段的业务 |
| CDC 实时任务 | 读取 MySQL binlog 中的变更事件 | 需要持续同步新增、更新与物理删除 |
CDC 不要求给每张表额外增加一个更新时间字段,但需要源库提供可读取的变更日志。目标端仍要确认主键、类型映射和写入权限,不能因为换成实时任务就跳过这些检查。
准备环境与 Docker 安装
如果选择 Docker 部署,先准备好 Docker Engine 和 Docker Compose,再在 Linux / macOS 终端执行一键安装命令:
bash -c "$(curl -fsSL https://down.datamover.cn/install.sh)"
部署目录中可以通过以下命令查看启动情况:
docker compose ps
docker compose logs -f
默认管理入口为 http://服务器IP:8000,实际端口以安装输出为准。本次直接使用已有实例,没有重新安装服务。使用 Docker 时,还要确认 Worker 容器能够访问源库和目标库;容器里的 localhost 指向容器自身,不能直接当成宿主机或另一台数据库服务器。
如果还需要了解 Windows 安装、容器网络或普通任务配置,可以对照此前的 MySQL → Kingbase 入门教程操作,页面路径为 https://datamover.cn/solutions/mysql-kingbase-docker-tutorial.html。
先读 CDC 文档,再检查 MySQL
配置之前,建议先阅读文档中的“CDC 实时同步必读”,尤其是 MySQL 章节。它集中说明了源库日志配置、账号权限、验证命令和常见错误,页面路径为 https://datamover.cn/doc/guide/CDC实时同步必读.html。下面结合这次操作,把需要确认的项目逐项展开。
本文是 MySQL 作为 CDC 源端、Kingbase 作为写入目标端。因此需要重点配置的是 MySQL binlog,不需要因为目标库是金仓,就按文档中“Kingbase 作为 CDC 源端”的章节开启逻辑复制。两种方向的要求要区分开。
1. 确认检查的是实际源库
在数据库客户端中,连接 DataMover 源端数据源指向的同一套 MySQL,尽量使用同一个同步账号执行检查。尤其是 Docker、代理和主从环境,别在宿主机检查了一套数据库,却让 Worker 连到了另一套。
SELECT VERSION() AS mysql_version,
@@hostname AS mysql_host,
@@port AS mysql_port,
DATABASE() AS current_database;
SELECT USER() AS connection_identity,
CURRENT_USER() AS matched_account;
USER() 帮助确认连接身份,CURRENT_USER() 表示 MySQL 实际用于权限检查的账户。授权时要匹配这个账户的 Host 部分,不能仅看到用户名相同,就认为所有来源地址都拥有相同权限。
还应记录 MySQL 版本。当前文档说明 DataMover 使用 Debezium 1.9.8;新版本 MySQL 或兼容 MySQL 协议的数据库,需要另外核对连接器兼容性,不能只凭 SQL 能执行就认定 CDC 全部可用。
2. 检查 binlog 开关、格式和行镜像
在“数据源”中准备 MySQL 和 Kingbase 连接并测试通过。普通查询能连通,还不足以说明账号具备 CDC 权限。 先查询源库实际生效的全局参数:
SHOW GLOBAL VARIABLES LIKE 'log_bin';
SHOW GLOBAL VARIABLES LIKE 'binlog_format';
SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
SHOW GLOBAL VARIABLES LIKE 'server_id';
重点看这几项:
| 参数 | 预期值 | 为什么需要 |
|---|---|---|
log_bin | ON | 源库必须产生 binlog,才能读取后续变化 |
binlog_format | ROW | 按行记录变更,供连接器解析新增、修改和删除事件 |
binlog_row_image | FULL | 保留完整行镜像,避免更新、删除事件中的字段信息不满足处理要求 |
server_id | 非 0,复制拓扑内唯一 | 标识 MySQL 服务实例,避免复制相关标识冲突 |
例如 log_bin=OFF 时,即使普通全量能读取表,后续也没有可供该链路消费的 binlog。binlog_format=STATEMENT 或 MIXED,也不能直接作为本文要求的 ROW 配置使用。
binlog_format、binlog_row_image 还涉及会话设置。修改全局值后,已有业务连接可能仍沿用原会话参数;应由管理员确认实际写入连接也使用所需设置。用刚开的管理连接查到正确值,不代表所有连接池都已经切换。
3. 检查同步账号的权限与位点读取
用实际同步账号检查授权:
SHOW GRANTS FOR CURRENT_USER();
账号通常涉及所选表的读取权限、REPLICATION CLIENT、REPLICATION SLAVE,首次快照还需按数据库版本和快照锁定方式核对 RELOAD、SHOW DATABASES 等权限。具体授权示例见上面的 CDC 文档,实际范围由管理员结合环境设置。
在支持该命令的 MySQL 5.7 / 8.0 中,还可以执行:
SHOW MASTER STATUS;
正常情况下能看到 binlog 的 File 和 Position。如果报权限不足,先补齐位点查询所需权限;如果返回空结果,要检查是否开启 binlog、是否连对实例。其他版本若命令已经调整,按对应版本的命令检查,并同步确认当前 CDC 连接器的兼容性。
能看到位点,说明这次查询成功,不等于已经证明持续消费、目标写入和异常恢复都正常。后面仍要实际启动任务并验证数据变化。
本次第一次启动就遇到了权限问题。界面显示失败,从“更多操作 → 日志”下载的日志中看到:
Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) for this operation
失败发生在读取快照对应的 binlog 位点时,当时尚未采集到数据。管理员补齐权限并确认日志配置后,通过正常停止、再启动任务重新下发,才完成后续验证。这也说明连接测试成功和实时任务能够运行,需要分别确认。
这类错误应由管理员为实际匹配的 用户@Host 补齐所需权限,不必为了消除提示就直接授予 SUPER。
4. 配置不满足时,修改后重新检查
如果当前参数不符合要求,自建 MySQL 可参考下面的 my.cnf / my.ini 配置片段。server-id=101 只是示例,要替换为当前复制拓扑内未使用的值:
[mysqld]
server-id=101
log-bin=mysql-bin
binlog_format=ROW
binlog_row_image=FULL
是否需要重启、哪些参数支持动态修改,应按 MySQL 版本和部署方式处理。尤其是开启 log-bin,通常需要修改服务启动配置并安排重启;生产环境应在维护窗口执行。Docker 中还要确认配置文件挂载正确、重建容器后配置依然保留;云数据库则通过对应参数组和授权入口调整。
修改完成后,重新连接数据库,再执行前面的全局参数、账号权限和位点检查。配置文件里写了正确值,不代表运行实例已读取并生效。本次实测由管理员处理源库参数和授权,本文没有直接修改 MySQL 配置。
还要为正常停止、网络中断和故障处理预留足够的 binlog 保留时间。MySQL 8.0 可以结合实际版本检查 binlog_expire_logs_seconds,旧版本查看 expire_logs_days;保留多久应覆盖可接受的最长停止时间和回补时间,并结合磁盘容量设置,不能机械地照抄固定天数。
5. 检查源表和 Kingbase 目标权限
首次练习选择数据量小、有明确主键的表。确认同步账号能读取源表及结构,测试记录可以通过业务界面识别,新增、修改、删除都有可核对的主键。没有主键或存在特殊类型的业务表,要单独验证目标定位与类型转换行为。
Kingbase 目标账号需要对应 schema 的写入权限;使用自动建表时还需要建表权限。整个实验使用独立目标表,避免影响原有业务表。
新建实时任务,先决定是否做快照
进入“任务管理 → 新建任务”,填写名称,类型选择“实时任务”,源端选 MySQL,目的端选 Kingbase。本例需要先同步已有数据,因此“是否执行快照”选“是”。

快照用于初始化存量,之后才持续捕获变更。这个实例的界面提示,执行首次快照会涉及清空目标表,因此必须先确认目的端表名与清空选项。如果目标库已有业务数据,先制定初始化方案,不能直接照着示例勾选。
本次配置如下:
| 项目 | 本次设置 |
|---|---|
| 任务名 | MySQL到Kingbase_CDC变更验证_20261102 |
| MySQL 源表 | sys_dict_type |
| Kingbase 目标表 | public.dm_cdc_dict_type_20261102 |
| 主键 | dict_id |
| 初始记录 | 12 行 |
源表是测试实例中的字典类型表,便于通过对应管理界面产生变更。实际练习建议使用专用测试表;不要在生产系统字典中做增删改实验。
选表后检查主键和时间类型
点击“下一步”,通过源端区域的“选择数据集”按钮添加表,再点击左侧表名查看映射。将目的端表名改为独立名称,并核对目标 schema。
本例自动映射把 create_time、update_time 生成为 VARCHAR。在目的端映射中改为 TIMESTAMP,长度改为 0,保留 dict_id 主键,然后点击“保存配置”。

主键决定后续变更如何定位目标行。只验证“插入成功”,还不能判断相同主键的更新和删除是否处理正确;后面会用同一条记录验证。
保存并完成创建后,任务详情中可打开“CDC策略配置”。本次快照模式为“全量快照(initial)”,首次启动清空目标表选“是”,输出线程数为 1,新任务的 offset JSON 保持空白。

CDC 任务持续读取变更日志,不需要选择 dict_id 或更新时间作为增量字段,也不用设置每分钟轮询。offset 是恢复消费的位置,首次启动无需手填;任务运行后不要随意修改。
启动后,先检查 12 行存量
在任务详情点击“全部启动”,选择在线执行器,再确认启动。快照完成后,本次页面显示采集成功 12 行、输出成功 12 行,失败均为 0。
点击详情中的目标表名,可以打开数据预览。本次目标表可见编号 1–12 的记录:

实时任务在完成存量初始化后仍需保持监听。不要把某次输出的“运行成功”或结束时间,单独理解为整个 CDC 任务已经停止,还应结合“调度状态”判断。
用同一条记录验证新增、修改、删除
这次通过“系统管理 → 字典管理”产生源表变更,没有手写 SQL 或直连数据库。使用自己的测试表时,通过对应测试业务页面或数据库工具操作即可。
新增:目标出现编号 13
新建一条字典类型,名称为“CDC变更演示_20261102”,类型为 dm_cdc_demo_20261102,备注注明仅用于验证、不关联业务功能。保存后页面生成编号 13。

随后关闭旧的目标表预览,再点击目标表名重新打开,以获取最新数据。Kingbase 中出现编号 13、相同字典类型和备注的记录,预览由 12 行变为 13 行。
修改:主键不变,原行内容更新
在源端管理界面修改这条记录,将名称改为“CDC变更演示_已修改_20261102”,备注改为“CDC演示已更新,主键dict_id保持13”。不修改编号和字典类型。
重新打开 Kingbase 预览后,编号 13 的名称、备注及更新时间随之更新,目标仍是 13 行,没有多插入一条记录。

删除:目标回到 12 行
接着在源端界面删除刚创建的编号 13。确认只选中了这条独立演示记录,再执行删除。
重新打开目标预览,编号 13 已不再出现,原有编号 1–12 的记录仍在。这一步验证了物理删除事件传递到目标库的效果。

这三个动作的结果可以放在一起看:
| 操作 | 源端变化 | Kingbase 预览结果 |
|---|---|---|
| INSERT | 新增编号 13 | 出现同一记录,13 行 |
| UPDATE | 修改编号 13 的名称、备注 | 同一主键内容更新,仍为 13 行 |
| DELETE | 删除编号 13 | 该记录消失,回到 12 行 |
第一轮停止时,统计累计采集、输出各 15 行:12 行快照,加上新增、修改、删除各一次。CDC 的处理行数包含变更事件,不能当成目标表当前行数。 目标实际剩余 12 行,与处理了 15 次记录事件并不矛盾。
停止期间新增的数据,能不能补上?
完成三类变更验证后,先查看“CDC策略配置”,确认已保存的 offset 中有 binlog 文件和位置,再正常点击“全部停止”。本例没有重置任务、清空位点或更换任务标识。
在任务停止期间,源端新增第二条独立记录,字典类型为 dm_cdc_resume_20261102,编号为 14。此时目标预览仍为 12 行,没有编号 14。
保持原任务配置再次启动后,这一轮显示采集成功 1 行、输出成功 1 行,失败均为 0:

目标预览中出现了停止期间新增的编号 14,原有 12 行仍在,目标共 13 行:

这验证的是一次正常停止后、保留位点的手工恢复。生产环境还应验证断网、异常退出、长时间停止等情况,并确保 MySQL 保留了恢复所需的 binlog。所需日志已被清理时,不能指望仅点击启动就补齐历史变更。
“停止”与“重置”也要分清。需要继续消费时保留已有位点;重新初始化目标数据或重置任务,应单独规划快照、清空目标和重复写入的处理方式。
实验结束后,删除了编号 14 的演示记录,并确认这次删除也同步到目标。最终两端保留原有 12 条记录,任务正常停止,独立目标表、映射和运行记录保留供复查。
这轮验证能说明什么
本次通过真实界面验证了 MySQL 到 Kingbase 的首次快照、单条新增、原行更新、物理删除,以及正常停止期间新增记录的恢复。依据包括源端管理页面、目标表预览和任务统计,没有另行直连数据库做全表逐字段校验,也没有测试 DDL、并发压力、故障切换或极端数据类型。
正式迁移前,建议用自己的业务测试表重复这条验证路径,尤其检查主键、时间精度、字符长度、金额精度和删除语义,再逐步扩大表数与数据量。只需要定时同步追加数据的场景,可以继续参考前面给出的普通任务教程,重点看增量字段与调度配置。