阿里云数据传输服务DTS从自建PostgreSQL增量迁移至RDS for PostgreSQL

源库支持的实例类型

执行数据迁移操作的PostgreSQL数据库支持以下实例类型：

有公网IP的自建数据库
ECS上的自建数据库
通过专线/VPN网关/智能网关接入的自建数据库

本文以有公网IP的自建数据库为例介绍增量数据迁移的配置流程。如您仅需要全量数据迁移，请参见从自建PostgreSQL全量迁移至RDS for PostgreSQL。

前提条件

自建PostgreSQL数据库版本为9.4、9.5、9.6、10.1、10.8、10.9版本。
RDS for PostgreSQL实例的存储空间须大于自建PostgreSQL数据库占用的存储空间。
自建PostgreSQL数据库的服务端口已开放至公网。

注意事项

不支持迁移使用C语言编写的function。
如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。
一个数据迁移任务只能对一个数据库进行数据迁移，如果有多个数据库需要迁移，则需要为每个数据库创建数据迁移任务。
如果迁移对象为数据库，在迁移过程中，在待迁移的数据库中创建新表时，需要在自建PostgreSQL中对新创建的表执行如下语句：
```
ALTER TABLE schema.table REPLICA IDENTITY FULL;
```
说明将schema和table替换成真实的schema名和表名。
对于迁移失败的任务，DTS会触发自动恢复。当您需要将业务切换至目标实例，请务必先终止或释放该任务，避免该任务被自动恢复后，导致源端数据覆盖目标实例的数据。

迁移类型说明

结构迁移
DTS将迁移对象的结构定义迁移到目标实例，目前DTS支持结构迁移的对象为table、trigger、view、sequence、function、user defined
type、rule、domain、operation、aggregate。
全量数据迁移
DTS会将自建PostgreSQL数据库迁移对象的存量数据，全部迁移到目标RDS for PostgreSQL数据库中。
增量数据迁移
DTS在全量数据迁移的基础上，将自建PostgreSQL数据库的增量更新数据同步到目标RDS for PostgreSQL数据库中。通过增量数据迁移可以实现在自建应用不停服的情况下，平滑地完成自建PostgreSQL数据库迁移上云。

费用说明


迁移类型	链路配置费用	公网流量费用
结构迁移/全量数据迁移	不收费。	通过公网将数据迁移出阿里云时将收费，详情请参见产品定价。
增量数据迁移	收费，详情请参见产品定价。	通过公网将数据迁移出阿里云时将收费，详情请参见产品定价。

数据库账号的权限要求


数据库	结构迁移	全量迁移	增量迁移
自建PostgreSQL数据库	pg_catalog的usage权限	迁移对象的select权限	superuser
RDS for PostgreSQL实例	迁移对象的create、usage权限	schema的owner权限	schema的owner权限

数据库账号创建及授权方法：

自建PostgreSQL数据库请参见CREATE USER和GRANT语法。
RDS for PostgreSQL实例请参见创建账号。

增量数据迁移流程

为解决对象间的依赖，提高迁移成功率，DTS对PostgreSQL结构和数据的迁移流程如下：

进行table、view、sequence、function、user defined type、rule、domain、operation、aggregate的结构迁移。
进行全量数据迁移。
进行trigger、foreign key的结构迁移。
进行增量数据迁移。

说明在进行增量数据迁移前，请勿对自建PostgreSQL数据库中的迁移对象进行DDL操作，否则可能导致迁移失败。

准备工作一安装逻辑流复制插件及调整设置

在配置增量数据迁移任务之前，需要在自建PostgreSQL中安装DTS提供的逻辑流复制插件并调整系统设置。

说明本案例以PostgreSQL9.6版本为例进行演示。

在自建PostgreSQL服务器上，使用wget命令下载和自建PostgreSQL版本对应的逻辑流复制插件。下载地址如下：
- 适用于PostgreSQL9.4版本的插件
- 适用于PostgreSQL9.5版本的插件
- 适用于PostgreSQL9.6版本的插件
- 适用于PostgreSQL10.0版本的插件
将下载的插件进行解压操作。
```
tar xvf tar xvf ali_decoding_9.6.tar
```
将ali_decoding.so复制至PostgreSQL安装路径中的lib目录中。
```
cp ali_decoding.so /usr/lib/postgresql/9.6/lib/
```
将ali_decoding.control复制至PostgreSQL安装路径下的extension目录中。
```
cp ali_decoding.control /usr/share/postgresql/9.6/extension/
```
使用具有superuser权限的账号登录自建PostgreSQL数据库。
将max_replication_slots设置为大于1的整数，本案例设置为5。

说明详情请参见PostgreSQL官方文档。
```
ALTER SYSTEM set max_replication_slots = '5';
```
将wal_level设置为logical。
```
ALTER SYSTEM SET wal_level = logical;
```
将max_wal_senders设置为大于1的整数，本案例设置为5。

说明 max_wal_senders 参数用于设置可以运行的并发任务数，建议和max_replication_slots设置的值一致。
```
ALTER SYSTEM SET max_wal_senders = '5';
```
返回至自建PostgreSQL服务器的shell命令窗口，执行以下命令重启PostgreSQL服务。
```
service postgresql restart
```
重新登录自建PostgreSQL数据库，执行以下命令查看是否能正常创建复制槽。
```
SELECT * FROM pg_create_logical_replication_slot('replication_slot_test', 'ali_decoding');
```
如果返回信息如下，则代表逻辑流复制插件已经安装成功。
将DTS的IP地址加入至PostgreSQL的配置文件（pg_hba.conf）中，关于该配置文件的设置请参见pg_hba.conf文件。如果您已将地址配置为0.0.0.0/0，可跳过本步骤。

说明您只需添加目标数据库所在区域对应的DTS IP地址段，详情请参见迁移/同步/订阅本地数据库时需添加的IP白名单。

准备工作二在目标实例中创建数据库和schema

根据待迁移对象所属的数据库和schema信息，在目标RDS for PostgreSQL中创建相应数据库和schema（schema名称须一致），详情请参见创建数据库和schema管理。

操作步骤

登录数据传输控制台。
在左侧导航栏，单击数据迁移。
在迁移任务列表页面顶部，选择迁移的目标实例所属地域。
单击页面右上角的创建迁移任务。

配置迁移任务的源库及目标库信息。


类别	配置	说明
任务名称	–	DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。
源库信息	实例类型	选择有公网IP的自建数据库。
	实例地区	当实例类型选择为有公网IP的自建数据库时，实例地区无需设置。说明如果您的自建PostgreSQL数据库进行了白名单安全设置，您需要在实例地区配置项后，单击获取DTS IP段来获取到DTS服务器的IP地址，并将获取到的IP地址加入自建PostgreSQL数据库的白名单安全设置中。
	数据库类型	选择PostgreSQL。
	主机名或IP地址	填入自建PostgreSQL数据库的访问地址，本案例中填入公网地址。
	端口	填入自建PostgreSQL数据库的服务端口，默认为5432。
	数据库名称	填入自建PostgreSQL数据库中待迁移的数据库名。
	数据库账号	填入自建PostgreSQL的数据库账号，权限要求请参见数据库账号的权限要求。
	数据库密码	填入该数据库账号对应的密码。说明源库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的源库信息是否正确。源库信息填写正确则提示测试通过，如提示测试失败，单击测试失败后的诊断，根据提示调整填写的源库信息。
目标库信息	实例类型	选择RDS实例。
	实例地区	选择目标RDS实例所属地域。
	RDS实例ID	选择目标RDS实例ID。
	数据库名称	填入RDS实例中待迁入数据的数据库名，可以和自建PostgreSQL中待迁移的数据库名不同。说明您需要先在RDS实例中创建相应的数据库和schema，详情请参见准备工作二在目标实例中创建数据库和schema。
	数据库账号	填入目标RDS的数据库账号，权限要求请参见数据库账号的权限要求。
	数据库密码	填入该数据库账号对应的密码。说明目标库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的目标库信息是否正确。目标库信息填写正确则提示测试通过，如提示测试失败，单击测试失败后的诊断，根据提示调整填写的目标库信息。

配置完成后，单击页面右下角的授权白名单并进入下一步。

说明此步骤会将DTS服务器的IP地址自动添加到目标RDS实例的白名单中，用于保障DTS服务器能够正常连接目标RDS实例。

选择迁移对象及迁移类型。


配置	说明
迁移类型	如果只需要进行全量数据迁移，则同时勾选结构迁移和全量数据迁移。说明为保障数据一致性，全量数据迁移期间请勿在自建PostgreSQL数据库中写入新的数据。如果需要进行不停机迁移，则同时勾选结构迁移、全量数据迁移和增量数据迁移。本案例为增量数据迁移，迁移类型中勾选结构迁移、全量数据迁移和增量数据迁移。
迁移对象	在迁移对象框中单击待迁移的对象，然后单击将其移动至已选择对象框。说明迁移对象选择的粒度可以为库、表、列三个粒度。如果迁移对象为数据库，在迁移过程中，在待迁移的数据库中创建新的表时，需要在自建PostgreSQL中对新创建的表执行如下语句： `ALTER TABLE schema.table REPLICA IDENTITY FULL;` 将schema和table替换成真实的schema名和表名。默认情况下，迁移完成后，迁移对象名跟自建PostgreSQL数据库一致。如果您需要迁移对象在目标RDS实例上名称不同，那么需要使用DTS提供的对象名映射功能。使用方法请参见库表列映射。如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。

单击页面右下角的预检查并启动。

说明
- 在迁移任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动迁移任务。
- 如果预检查失败，单击具体检查项后的，查看失败详情。根据提示修复后，重新进行预检查。
预检查通过后，单击下一步。
在购买配置确认页面，选择链路规格并勾选数据传输（按量付费）服务条款。
单击购买并启动，迁移任务正式开始。
- 全量数据迁移
  请勿手动结束迁移任务，否则可能导致数据不完整。您只需等待迁移任务完成即可，迁移任务会自动结束。
- 增量数据迁移
  迁移任务不会自动结束，您需要手动结束迁移任务。
  
  说明请选择合适的时间手动结束迁移任务，例如业务低峰期或准备将业务切换至目标实例时。
  1. 观察迁移任务的进度变更为增量迁移，并显示为无延迟状态时，将源库停写几分钟，此时增量迁移的状态可能会显示延迟的时间。
  2. 等待迁移任务的增量迁移再次进入无延迟状态后，手动结束迁移任务。
将业务切换至RDS实例。

后续操作

用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除自建PostgreSQL数据库和RDS for PostgreSQL实例中的数据库账号。