ヤマムギ

growing hard days.

*

AWS Database Migration Service(DMS)チュートリアル

   


公式ユーザーガイドのAWS Database Migration Service の開始方法を参考に実施しました。

このチュートリアルでは、オンプレミスからではなく、RDS for MySQLから、RDS for PostgreSQLへのデータ移行を試します。

VPC

バージニア北部で元々作っていたDemo用のVPCを使用しました。

セキュリティグループ

DMS用とソースデータベース、ターゲットデータベース、設定クライアント用に4つ作成しました。

  • DBConfiguration
    インバウンドはなしでデフォルトのままです。

  • DMS
    インバウンドはなしでデフォルトのままです。

  • MySQL
    3306ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。

  • PostgreSQL
    5432ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。

RDSパラメータグループ

mysql8.0

checksumをなしにするということでしたので、checksumが含まれるパラメータの値をNONEか0にしました。

binlog_formatはROWにしました。

postgres12

session_replication_roleをreplicaにしました。

RDS for MySQL(ソースデータベース)の作成

手順どおり、パブリックサブネットグループでパブリックアクセスを有効にしたMySQLインスタンスを作成しました。
開発検証用を選択してデフォルトのままで、インスタンスクラスをt3.microにしました。
パラメータグループとセキュリティグループは事前に作成したものを設定しました。
初期データベースは一応作成しましたが、要らなかったかもしれません。

RDS for PostgreSQL(ターゲットデータベース)の作成

手順どおり、パブリックサブネットグループでパブリックアクセスを有効にしたPostgreSQLインスタンスを作成しました。
開発検証用を選択してデフォルトのままで、インスタンスクラスをt3.microにしました。
パラメータグループとセキュリティグループは事前に作成したものを設定しました。
初期データベースは一応作成しました。

初期データベース作成用EC2インスタンス

t3a.nanoでスポットインスタンスで作成しました。
起動後、セッションマネージャで接続しました。

事前作業用にGitとMySQLをインストールしてSQLを実行しました。

事後のレプリケーション確認用にPSSQLをインストールしました。

pgdg.repo

MySQL JDBCドライバを用意する

https://dev.mysql.com/downloads/connector/j/でダウンロードしました。

Platform Independentを選択しました。

ログインはせずに「No thanks, just start my download.」を選択してZipをダウンロードして、任意のディレクトリに展開しました。

PostgreSQLドライバを用意する

https://jdbc.postgresql.org/download.htmlからCurrent Versionをダウンロードしました。

SCTを使用してスキーマを移行する

macOSにAWS Schema Conversion ToolをインストールでインストールしておいたSCTを使用しました。

OLTP
Source database: MySQL
Target database: RDS for PostgreSQL

[Connect to MySQL]を押下して、サーバー情報を設定しました。

Server name: RDS for MySQLのエンドポイント
Server port: 3306
User name: admin
Password: changeit
MySQL driver path: 事前にダウンロードして展開していたjarを選択しました。

[Test connection]が成功しました。
[OK]を押下して接続しました。

[Connect to Amazon RDS for PostgreSQL]を押下して、サーバー情報を設定しました。

Server name: RDS for PostgreSQLのエンドポイント
Server port: 5432
Database: dms_sample
User name: postgres
Password: changeit
PostgreSQL driver path: 事前にダウンロードして展開していたjarを選択しました。

[Test connection]が成功しました。
[OK]を押下して接続しました。

左のソースのMySQLデータベースを選択して、変換対象のテーブル、ビュー、ファンクションを選択して右クリック-[Convert schema]を選択しました。

右のペインに変換対象のスキーマが反映されるので、右クリック-[Apply to database]でデータベースに反映しました。

画面全体です。

作業用EC2からスキーマが作成されたことを確認しました。

DMSインスタンスの作成

DMSインスタンスを作成します。

インスタンスクラスはdms.t3.microを選択しました。
他はデフォルトです。

検証なのでシングルAZにしました。
セキュリティグループは事前に作成しているものを選択しました。
今回は必要なさそうですが、パブリックアクセス可能にしておきました。

作成しました。

DMSソースエンドポイントの作成

ソースエンドポイントを選択して、今回はRDSなので[RDS DBインスタンスの作成]をチェックして、MySQLインスタンスを選択しました。

エンドポイントへのデータベースアクセスでは、手動設定にしました。

[テストの実行]ボタンを押下してみて、successfulになりました。
セキュリティグループの設定も大丈夫だったみたいです。

[エンドポイントの作成]ボタンを押下しました。

DMSターゲットエンドポイントの作成

次はターゲットエンドポイントを作成しました。

同じように設定しました。

テストもOKでした。

作成しました。

ソースとターゲットが作成できました。

データベース移行タスクの作成

タスクの設定では、レプリケーションインスタンス、ソースデータベース、ターゲットデータベースを選択しました。
移行タイプは「既存のデータを移行して、継続的な変更をレプリケートする」を選択しました。

ターゲットテーブル作成モードで、「何もしない」に変更しました。
他はデフォルトでした。

[新しい選択ルールの追加]で[スキーマの入力]を選択して、[スキーマ名]にdms_sampleを入力しました。

他はデフォルトで作成しました。

移行の確認

移行タスクを作成すると移行が開始されました。

移行が完了しました。

テーブル統計で確認しました。
きれいに移行されたように見えます。

作業用EC2インスタンスで確認します。

first_nameがTestのレコードはないことを確認しました。
チュートリアルの手順どおりにMySQLにレコードを追加して確認します。

MySQLテーブルに接続してレコードを挿入しました。

マネジメントコンソールのテーブル統計で見てみると、レコードが挿入対象になっていることがわかりました。

PostgreSQLを確認すると追加したレコードが挿入されていました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

AWS DeepLensセットアップの儀

AWS DeepLensのセットアップを開始します。 AWS DeepLensを …

「雲勉 第1回【勉強会:新技術好き!】AWSマネージドサービス勉強会」に行ってきました

「雲勉 第1回【勉強会:新技術好き!】AWSマネージドサービス勉強会」に行ってき …

Cloud9 Python3でpipも3にする

このブログは、2019/10/20に書いた、 Cloud9のAMIがCloud9 …

AWSアカウントの解約

アカウント作成メニュー確認のために作成したAWSアカウントを解約しました。 使っ …

Rocket.ChatにAWS Lambda(Python)から投稿する

Rocket.ChatにAPIで投稿するテスト(Postman)をやってみて、使 …

RDSの拡張モニタリングを有効にしました

RDS for MySQLです。 変更メニューで、[拡張モニタリングを有効にする …

Elastic BeanstalkでflaskアプリケーションデプロイのチュートリアルをCloud9で

Elastic Beanstalk への flask アプリケーションのデプロイ …

AWS Transfer Family EFS向けのSFTP対応サーバー

EFSファイルシステムは作成済です。 AWS Transfer Family S …

Systems Manager パブリックパラメータCLIでAWSのサービス数を出力してみました(2020/5/26)

先日のAWSのサービス数を数えてみました(2020/5/23)を見られて、お師匠 …

AWS CodeBuildのチュートリアルをやってみました

こちらユーザーガイドの最初の方にあるチュートリアルです。 コンソールを使用した …