AWS Database Migration Service(DMS)チュートリアル

2021/09/05

公式ユーザーガイドのAWS Database Migration Service の開始方法を参考に実施しました。

このチュートリアルでは、オンプレミスからではなく、RDS for MySQLから、RDS for PostgreSQLへのデータ移行を試します。

VPC

バージニア北部で元々作っていたDemo用のVPCを使用しました。

セキュリティグループ

DMS用とソースデータベース、ターゲットデータベース、設定クライアント用に4つ作成しました。

DBConfiguration
インバウンドはなしでデフォルトのままです。
DMS
インバウンドはなしでデフォルトのままです。
MySQL
3306ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。
PostgreSQL
5432ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。

RDSパラメータグループ

mysql8.0

checksumをなしにするということでしたので、checksumが含まれるパラメータの値をNONEか0にしました。

binlog_formatはROWにしました。

postgres12

session_replication_roleをreplicaにしました。

RDS for MySQL(ソースデータベース)の作成

手順どおり、パブリックサブネットグループでパブリックアクセスを有効にしたMySQLインスタンスを作成しました。
開発検証用を選択してデフォルトのままで、インスタンスクラスをt3.microにしました。
パラメータグループとセキュリティグループは事前に作成したものを設定しました。
初期データベースは一応作成しましたが、要らなかったかもしれません。

RDS for PostgreSQL(ターゲットデータベース)の作成

手順どおり、パブリックサブネットグループでパブリックアクセスを有効にしたPostgreSQLインスタンスを作成しました。
開発検証用を選択してデフォルトのままで、インスタンスクラスをt3.microにしました。
パラメータグループとセキュリティグループは事前に作成したものを設定しました。
初期データベースは一応作成しました。

初期データベース作成用EC2インスタンス

t3a.nanoでスポットインスタンスで作成しました。
起動後、セッションマネージャで接続しました。

事前作業用にGitとMySQLをインストールしてSQLを実行しました。

$ pwd
$ sudo yum install git mysql
$ git clone https://github.com/aws-samples/aws-database-migration-samples.git
$ cd ~/aws-database-migration-samples/mysql/sampledb/v1
$ mysql -h dms-mysql.xxxxxxxx.us-west-1.rds.amazonaws.com u admin -pchangeit dms_sample < install-rds.sql

$ pwd

$ sudo yum install git mysql

$ git clone https://github.com/aws-samples/aws-database-migration-samples.git

$ cd ~/aws-database-migration-samples/mysql/sampledb/v1

$ mysql -h dms-mysql.xxxxxxxx.us-west-1.rds.amazonaws.com u admin -pchangeit dms_sample < install-rds.sql

事後のレプリケーション確認用にPSSQLをインストールしました。

$ sudo su
cd /etc/yum.repos.d
vim pgdg.repo

$ sudo su

cd /etc/yum.repos.d

vim pgdg.repo

pgdg.repo

[pgdg11]
name=PostgreSQL 11 $releasever - $basearch
baseurl=https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7.5-x86_64
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-PGDG-11

[pgdg11]

name=PostgreSQL 11 $releasever - $basearch

baseurl=https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7.5-x86_64

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-PGDG-11

sed -i "s/rhel-\$releasever-\$basearch/rhel-7.5-x86_64/g" "/etc/yum.repos.d/pgdg.repo"
yum groupinstall "PostgreSQL Database Server 11 PGDG"
exit

sed -i "s/rhel-\$releasever-\$basearch/rhel-7.5-x86_64/g" "/etc/yum.repos.d/pgdg.repo"

yum groupinstall "PostgreSQL Database Server 11 PGDG"

exit

MySQL JDBCドライバを用意する

https://dev.mysql.com/downloads/connector/j/でダウンロードしました。

Platform Independentを選択しました。

ログインはせずに「No thanks, just start my download.」を選択してZipをダウンロードして、任意のディレクトリに展開しました。

PostgreSQLドライバを用意する

https://jdbc.postgresql.org/download.htmlからCurrent Versionをダウンロードしました。

SCTを使用してスキーマを移行する

macOSにAWS Schema Conversion ToolをインストールでインストールしておいたSCTを使用しました。

OLTP
Source database: MySQL
Target database: RDS for PostgreSQL

[Connect to MySQL]を押下して、サーバー情報を設定しました。

Server name: RDS for MySQLのエンドポイント
Server port: 3306
User name: admin
Password: changeit
MySQL driver path: 事前にダウンロードして展開していたjarを選択しました。

[Test connection]が成功しました。
[OK]を押下して接続しました。

[Connect to Amazon RDS for PostgreSQL]を押下して、サーバー情報を設定しました。

Server name: RDS for PostgreSQLのエンドポイント
Server port: 5432
Database: dms_sample
User name: postgres
Password: changeit
PostgreSQL driver path: 事前にダウンロードして展開していたjarを選択しました。

[Test connection]が成功しました。
[OK]を押下して接続しました。

左のソースのMySQLデータベースを選択して、変換対象のテーブル、ビュー、ファンクションを選択して右クリック-[Convert schema]を選択しました。

右のペインに変換対象のスキーマが反映されるので、右クリック-[Apply to database]でデータベースに反映しました。

画面全体です。

作業用EC2からスキーマが作成されたことを確認しました。

psql \
   --host=dms-postgresql.xxxxxxxx.us-east-1.rds.amazonaws.com \
   --port=5432 \
   --username=postgres \
   --password \
   --dbname=dms_sample 

dms_sample=> SELECT * from dms_sample.person;
   id    |  full_name   | last_name | first_name
---------+--------------+-----------+------------
(0 rows)

psql \

--host=dms-postgresql.xxxxxxxx.us-east-1.rds.amazonaws.com \

--port=5432 \

--username=postgres \

--password \

--dbname=dms_sample

dms_sample=> SELECT * from dms_sample.person;

id | full_name | last_name | first_name

---------+--------------+-----------+------------

(0 rows)

DMSインスタンスの作成

DMSインスタンスを作成します。

インスタンスクラスはdms.t3.microを選択しました。
他はデフォルトです。

検証なのでシングルAZにしました。
セキュリティグループは事前に作成しているものを選択しました。
今回は必要なさそうですが、パブリックアクセス可能にしておきました。

作成しました。

DMSソースエンドポイントの作成

ソースエンドポイントを選択して、今回はRDSなので[RDS DBインスタンスの作成]をチェックして、MySQLインスタンスを選択しました。

エンドポイントへのデータベースアクセスでは、手動設定にしました。

[テストの実行]ボタンを押下してみて、successfulになりました。
セキュリティグループの設定も大丈夫だったみたいです。

[エンドポイントの作成]ボタンを押下しました。

DMSターゲットエンドポイントの作成

次はターゲットエンドポイントを作成しました。

同じように設定しました。

テストもOKでした。

作成しました。

ソースとターゲットが作成できました。

データベース移行タスクの作成

タスクの設定では、レプリケーションインスタンス、ソースデータベース、ターゲットデータベースを選択しました。
移行タイプは「既存のデータを移行して、継続的な変更をレプリケートする」を選択しました。

ターゲットテーブル作成モードで、「何もしない」に変更しました。
他はデフォルトでした。

[新しい選択ルールの追加]で[スキーマの入力]を選択して、[スキーマ名]にdms_sampleを入力しました。

他はデフォルトで作成しました。

移行の確認

移行タスクを作成すると移行が開始されました。

移行が完了しました。

テーブル統計で確認しました。
きれいに移行されたように見えます。

作業用EC2インスタンスで確認します。

psql \
   --host=dms-postgresql.xxxxxxxx.us-east-1.rds.amazonaws.com \
   --port=5432 \
   --username=postgres \
   --password \
   --dbname=dms_sample 

dms_sample=> SELECT * from dms_sample.person limit 1;
   id    |  full_name   | last_name | first_name
---------+--------------+-----------+------------
 6326532 | Rodney Blair | Blair     | Rodney
(1 row)

dms_sample=> select * from dms_sample.person where first_name = 'Test';
 id | full_name | last_name | first_name
----+-----------+-----------+------------
(0 rows)

psql \

--host=dms-postgresql.xxxxxxxx.us-east-1.rds.amazonaws.com \

--port=5432 \

--username=postgres \

--password \

--dbname=dms_sample

dms_sample=> SELECT * from dms_sample.person limit 1;

id | full_name | last_name | first_name

---------+--------------+-----------+------------

6326532 | Rodney Blair | Blair | Rodney

(1 row)

dms_sample=> select * from dms_sample.person where first_name = 'Test';

id | full_name | last_name | first_name

----+-----------+-----------+------------

(0 rows)

first_nameがTestのレコードはないことを確認しました。
チュートリアルの手順どおりにMySQLにレコードを追加して確認します。

$ mysql -h dms-mysql.c3gngubysyz7.us-east-1.rds.amazonaws.com -u admin -p
Enter password:

~中略~

MySQL [(none)]> use dms_sample
~中略~

Database changed
MySQL [dms_sample]> insert person (full_name, last_name, first_name) VALUES ('Test User1', 'User1', 'Test');
Query OK, 1 row affected (0.01 sec)

$ mysql -h dms-mysql.c3gngubysyz7.us-east-1.rds.amazonaws.com -u admin -p

Enter password:

~中略~

MySQL [(none)]> use dms_sample

~中略~

Database changed

MySQL [dms_sample]> insert person (full_name, last_name, first_name) VALUES ('Test User1', 'User1', 'Test');

Query OK, 1 row affected (0.01 sec)

MySQLテーブルに接続してレコードを挿入しました。

マネジメントコンソールのテーブル統計で見てみると、レコードが挿入対象になっていることがわかりました。

dms_sample=> select * from dms_sample.person where first_name = 'Test';
   id    | full_name  | last_name | first_name
---------+------------+-----------+------------
 7077781 | Test User1 | User1     | Test
(1 row)