Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Update README.md #1

Merged
merged 11 commits into from
Sep 8, 2020
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,8 +12,8 @@
* [获取任务详情](/udts/guide/getconfig)
* [修改任务](/udts/guide/updatetask)
* [任务失败通知](/udts/guide/notice)
* [基于全量任务创建增量任务](/udts/guide/quickIncremental)
* [FAQ](/udts/faq)
* [全量任务和增量任务](/udts/tasktype)
* [双向同步](/udts/synchronization)
* [ETL设置](/udts/etl)
* 最佳实践
Expand Down
4 changes: 2 additions & 2 deletions _sidebar.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,9 +12,9 @@
* [删除任务](/udts/guide/deletetask)
* [获取任务详情](/udts/guide/getconfig)
* [修改任务](/udts/guide/updatetask)
* [任务失败通知](/udts/guide/notice)
* [任务失败通知](/udts/guide/notice)
* [基于全量任务创建增量任务](/udts/guide/quickIncremental)
* [FAQ](/udts/faq)
* [全量任务和增量任务](/udts/tasktype)
* [双向同步](/udts/synchronization)
* [ETL设置](/udts/etl)
* 最佳实践
Expand Down
35 changes: 35 additions & 0 deletions guide/quickIncremental.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,35 @@
# 基于全量任务创建增量任务

UDTS 对以下表格中所列出的全量传输任务, 提供基于已完成的全量任务快速创建增量任务的功能。

|源类型| 目标类型|
| --- | --- |
| MySQL | MySQL |
| MySQL | TiDB |

## 步骤一 列出全量任务

在UDTS产品首页默认会列出所有任务, 从中找到已完成的 “全量任务”

![](http://udts-doc.cn-bj.ufileos.com/connect004.png)

点击“详情”按钮进入下一步。

## 步骤二 查看任务详情

确认 sync 栏有 binlog 数据。 如果 sync 栏没有数据说明源数据库没有开启binlog, 无法创建增量任务进行数据同步。

![](http://udts-doc.cn-bj.ufileos.com/create006.png)

点击“创建增量任务”按钮进入下一步。

## 步骤三 创建增量任务

填写数据库密码,sync data中的ServerID (保证此ID唯一, 即不会与源MySQL及其从库 Server ID 重复),以及任务名称来完成创建。
CrazyNash marked this conversation as resolved.
Show resolved Hide resolved

![](http://udts-doc.cn-bj.ufileos.com/create007.png)





33 changes: 0 additions & 33 deletions tasktype.md

This file was deleted.

62 changes: 44 additions & 18 deletions type/mysqlsource.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,50 @@

UDTS支持MySQL作为数据传输源/目标,支持版本有MySQL5.5,MySQL5.6,MySQL5.7,MySQL8.0。 MariaDB 版本需大于等于 10.1.2。

## 注意事项

### 数据量

建议单个全量迁移任务所迁移的数据量不超过200G, 最大支持500G。 如果所要迁移的数据量超过了500G,可以将任务拆分为多个任务进行迁移。 UDTS 提供按库、按表、按多库、按多表等多维度的迁移方式。

如果迁移任务超过了500G, 且无法拆分为多个任务, 请联系技术支持。

### 存储空间

迁移的过程中可能会在目标数据库产生slow log, 其存储于mysql数据库中。 所以迁移结束以后目标数据库占用的存储空间可能会大于源数据库占用的存储空间。 建议使用UDTS迁移数据库的过程中关闭目标数据库的slow log, 迁移结束以后重新开启 slow log。 在迁移较大的数据库时, 产生的slow log可能会很大, 如果迁移的过程中没有关闭slow log, 请预留好slow log的存储空间。

迁移任务如果开启了“保留Binlog”选项, 目标数据库产生的Binlog 会占用存储空间。 当数据量较大时(超过200G), 建议用户保持“保留Binlog”默认关闭,这样在全量迁移的过程中在目标数据库不会产生Binlog,减少迁移对磁盘的额外需求。 如果在迁移的过程中一定要开启Binlog, 请为目标数据库创建较大的存储空间, 以免存储空间不够导致任务失败(根据经验,迁移3TB的数据会产生3TB以上的Binlog文件, 即源数据库存储空间为3TB, 目标需要6TB存储空间)。

### MyISAM 引擎表

UDTS 支持 MyISAM 引擎表的全量迁移及增量同步, 但是有以下限制:
* 导出数据时会锁表, 直到全表数据导出。 可能会影响业务。
* 不支持一条事务中同时更新MyISAM引擎表和InnoDB引擎表。
* 对于损坏的表,在迁移之前要进行修复。

建议用户将MyISAM 引擎表转换为InnoDB引擎表以后再使用UDTS迁移。

### 参数

如里全量迁移以后还要进行增量迁移,要求源数据库开启binlog, 格式设置为ROW, image设置为FULL

```
binlog_format 为 ROW
binlog_row_image 为 FULL
```

查询方式:
```
show global variables like 'binlog_format';
show global variables like 'binlog_row_image';
```

设置方式:
```
set global binlog_format = "ROW" ;
set global binlog_row_image = "FULL" ;
```

## MySQL填写表单

| 参数名 | 说明 |
Expand All @@ -20,22 +64,4 @@ UDTS支持MySQL作为数据传输源/目标,支持版本有MySQL5.5,MySQL5.6
|保留Binlog|当MySQL为目标端可用,保留同步中数据产生的 binlog 从而保证目标端作为主库的高可用架构生效|


备注:

如增量迁移,要求MySQL参数如下设置

binlog_format 为 ROW

binlog_row_image 为 FULL

查询方式:

show global variables like 'binlog_format';

show global variables like 'binlog_row_image';

设置方式:

set global binlog_format = "ROW" ;

set global binlog_row_image = "FULL" ;