AWS GlueでAurora JDBC接続でS3へのジョブを実行

Tweet

Aurora Serverless v1のMySQLタイプデータベースからS3へ、特定のテーブルレコードをJSON形式で保存しました。

前提

• Aurora Serverless v1のVPCにはS3ゲートウェイVPCエンドポイントがあり、サブネットにはルートがある
• Aurora Serverless v1インスタンスのセキュリティグループインバウンドには自IDからのすべてのトラフィックを許可してGlueも同じセキュリティグループを使用する

接続の作成

まずAuroraへの接続を作成しました。

接続名を入力して、接続タイプにJDBCを選択しました。
接続タイプにRDSもあったのですが、Aurora Serverless v1のインスタンスが選択肢に出てこなかったので、JDBCにしました。

JDBC URLはこのようになりました。
jdbc:mysql://eccube-cluster.cluster-c3gngubysyz7.us-east-1.rds.amazonaws.com:3306/eccube

データベースユーザー名、パスワード、VPC、サブネット、セキュリティグループを設定しました。

作成できたのでテストしました。

テストが正常完了しました。

クローラーの作成と実行

クローラーの作成では、データストアにJDBCで作成した接続を選択しました。
インクルードパスはデータベース/テーブルでした。

クローラー作成後、実行しました。

接続とスキーマを含むデータカタログテーブルが作成されました。

ジョブの作成と実行

続いてジョブを作成しました。

ソースにテーブルを設定しました。

マッピングはデフォルトのままにしました。

ターゲットのS3バケットとプレフィックスを指定して、フォーマットはJSONにしました。

そしてジョブを作成して実行後、ターゲットにデータが生成されました。

最後までお読みいただきましてありがとうございました！

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

【PR】 「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。