我是靠谱客的博主 犹豫夕阳,最近开发中收集的这篇文章主要介绍阿里云 DTS同步SQL Server 的101个坑,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

测试同步源库为SQL Server,目标库为SQL Server、MySQL、ADB for MySQL均会遇到以下问题。

其中红色部分为尚无解决方案而影响严重的问题。

序号

问题

影响

解决方案

备注

建议改进项
1DTS隐式转换问题

1. 源库IO吞吐量超过1GB/s、延迟超过1秒
2. 16c CPU使用率超过50%
3. 全量同步速度极慢,超过5天未完成
4. SqlServer 为源的链路均存在此问题

提交工单在后台设置对应参数

9.23 发现并反馈阿里云

10.28 阿里云已发版代码,但仍需后台设置生效

1. 将配置界面提到前台

2. 代码能自动按列类型设置变量类型,不需额外配置

2

进行上述设置后,每次新加入对象仍出现隐式转换问题

大表影响同上每次新加入对象后均需提交工单在后台设置对应参数

1. 链路设置后对能自动对新加入对象生效

2. 其余建议同上

3

DTS有概率突然对源库大表进行全量查询

1. 源库IO吞吐量超过1GB/s、延迟超过1秒

2. 对大表全量同步基本无法进行

1. 联系后台调整切片大小

2. 或者从链路中剔除对应表重新加入

研发反馈表切片超时导致切片失败,出现整表拉取(超时具体原因未定位到)对于生产环境风险很高,建议定位具体原因并修复
4

前台无法取消全量同步中的对象

前台界面可以选择取消,取消后界面会看不到,但实际后台仍在同步提交工单在后台取消阿里云反馈为预期现象建议实现前台取消功能
5

大表改字段类型导致DTS长时间延迟

3000万行表,alter在源库执行7分钟,目标库延迟超过6个小时暂无阿里云反馈DTS暂不支持改字段类型操作

1. 建议增加支持改字段类型操作

2. 解析生成的语句不要单条执行单条提交,尽量缩短目标库延迟 

6

源端表执行大事务会影响其他同源链路

执行上面大表改字段类型操作后,源端相同但并没有同步相关表的链路延迟也超过1000秒暂无阿里云反馈为预期现象
7

新增同步对象会清空原有对象

新增同步对象时清空原有对象,只能重新搭建链路进行同步阿里云控制台bug,已修复
8源库主从切换后延迟问题源库主从切换后延迟持续升高阿里云后台重启dts reader阿里云反馈dts源端ip配置的VIP,源端主动切换后,reader 没办法自动重连,需要后台手动重启下reader建议增加vip切换后reader自动重连功能
9对源库表 增加bit字段 问题dts解析会将源库脚本 bit default(0) not null 改为 bit not null,导致同步报错目前手动在目标库执行创建表脚本,跳过自动同步脚本更新

2022.01.17 源库表增加字段

目前手动在目标库中执行脚本;
10DTS 从源库抽数都使用硬编码参数,未参数化,导致源库执行计划占用内存过大

11DTS界面新旧版本各有部分功能缺失

例如:

  • 旧版本只支持 SQL Server同步至MySQL,新版本支持到其他目标库
  • 新版本不支持MySQL同步至clickhouse,只有旧版本支持
新旧版本结合使用
12DTS界面只显示主任务信息,不能显示子任务信息或者配置子任务
  • 子任务报错时,界面不显示异常
  • 界面不显示子任务同步的对象及进度
  • 全量限速等操作只能针对主任务不能配置子任务
只能提单阿里云后台帮忙查看或设置
  • 主任务:第一次配置的同步对象任务
  • 子任务:后续每一次配置同步的对象称为一个子任务
  • 子任务同步完成后会合并到主任务(但界面依旧不显示子任务信息)
界面应该能看到每个子任务信息,或者在同步中就合并到主任务去
13“同步对象修改记录” 界面一直为空同步对象修改并不会显示在该页面中阿里云反馈需切换到旧版DTS同11,新版DTS功能有缺失
14阿里云后台设置每批同步的表行数不生效目前无法调整每批同步的表行数,均为102400行暂无

最后

以上就是犹豫夕阳为你收集整理的阿里云 DTS同步SQL Server 的101个坑的全部内容,希望文章能够帮你解决阿里云 DTS同步SQL Server 的101个坑所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(44)

评论列表共有 0 条评论

立即
投稿
返回
顶部