找回密码
立即注册
搜索
发回帖 发新帖

5346

积分

0

好友

682

主题
发表于 3 小时前 | 查看: 11| 回复: 0

我跟 AI 说,想做个类似 Navicat 的拷表工具,每天把一张 MySQL 表同步到金仓。它问表有多大,我说有 16 万多条记录。

它提了几种方案,里面有 DataX,也有 Java。看到这些选项,我才想起来补了一句:"我是做 .NET 的。"

我们接着聊,最后定下了 .NET 和 Docker。现在,这个工具已经接手了原来 Navicat 每天跑的拷表任务。

DbSync 执行记录,连续八天的定时同步均显示成功

11 月 11 日至 18 日,这个两张表的任务每天 22 点启动。八条记录都显示行数与内容摘要核对通过。

为什么不能先手动拷一次?

以前我在内存里逐条处理数据,表一大,程序就容易崩。后来改用 Navicat 把整张表拷进业务库,就地用 SQL 清洗,这套流程就一直用了下来。

装着 Navicat 的 Windows 服务器到期后,定时同步就停了。我的电脑连不上那个 MySQL 库,想临时手动拷一次也拷不了。

还能访问源库的,只剩那台国产化业务服务器。偏偏这台机器上又装不了原来的图形界面版 Navicat。

金仓里的清洗任务还在,等的那张表却有近一周没更新。小程序上每天的新增都是 0,有人打电话来问,我也只能跟人家解释原因。

既然业务服务器能连上源库,我就想:写个同步程序放到那台机器上跑,每天把表拷过去,不就行了?

第一版做到哪儿算够用,我心里有数。就照我平时用 Navicat 的操作,指定一张 MySQL 表,把结构和数据完整拷到金仓。这个场景每次全量拷贝就够了,后面的清洗有现成的程序接。

有个功能,是等报错等出来的

本地测试时,MySQL 到金仓这一步经常失败。有时表里的数据已经搬过去一部分,任务才停下来。我再翻同步日志,才看到格式或编码方面的报错。

改完再跑。要是还有哪个地方没准备好,就得再等一次,再翻一次日志。这样来回折腾,人也很崩溃。

我就想,有些问题明明在拷第一条数据之前就能查出来,为什么还要等?

预检就是那时候加的。现在建好任务,我可以先手动点一下"预检"。这一步只做检查,不搬数据。

查到什么问题,页面上就列出详细错误。看得懂的自己改,拿不准的也可以带着具体报错去问 AI。

DbSync 同步预检结果,两张表均无已知阻塞,各有兼容提示

这次预检只读取信息。两张表都显示"无已知阻塞",同时分别列出 6 项和 8 项提示,执行同步前就能查看。

同步是我最先上线的功能。那张表拷过去以后,我执行了原来的清洗定时任务,然后打开手机上的小程序。

还是那个看每日新增的地方。前面近一周都是 0,这次,有数据了。

这个工具也许还不够完美,但我眼下最需要的,就是有人替我每天把那张表拷过去。现在它能干这个活儿了。如果你也在用 .NET 技术栈 做类似的数据同步,欢迎到云栈社区交流经验。




上一篇:LiteLLM被全网扫描:两个漏洞串联可实现无认证RCE
下一篇:ARTEX开源AI渗透测试平台:靠请求重放验证漏洞,减少误报
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-23 03:22 , Processed in 0.064194 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表