ヤマムギ

growing hard days.

*

AWS GlueでAurora JDBC接続でS3へのジョブを実行

   


Aurora Serverless v1のMySQLタイプデータベースからS3へ、特定のテーブルレコードをJSON形式で保存しました。

前提

  • Aurora Serverless v1のVPCにはS3ゲートウェイVPCエンドポイントがあり、サブネットにはルートがある
  • Aurora Serverless v1インスタンスのセキュリティグループインバウンドには自IDからのすべてのトラフィックを許可してGlueも同じセキュリティグループを使用する

接続の作成

まずAuroraへの接続を作成しました。

接続名を入力して、接続タイプにJDBCを選択しました。
接続タイプにRDSもあったのですが、Aurora Serverless v1のインスタンスが選択肢に出てこなかったので、JDBCにしました。

JDBC URLはこのようになりました。
jdbc:mysql://eccube-cluster.cluster-c3gngubysyz7.us-east-1.rds.amazonaws.com:3306/eccube

データベースユーザー名、パスワード、VPC、サブネット、セキュリティグループを設定しました。

作成できたのでテストしました。

テストが正常完了しました。

クローラーの作成と実行

クローラーの作成では、データストアにJDBCで作成した接続を選択しました。
インクルードパスはデータベース/テーブルでした。

クローラー作成後、実行しました。

接続とスキーマを含むデータカタログテーブルが作成されました。

ジョブの作成と実行

続いてジョブを作成しました。

ソースにテーブルを設定しました。

マッピングはデフォルトのままにしました。

ターゲットのS3バケットとプレフィックスを指定して、フォーマットはJSONにしました。

そしてジョブを作成して実行後、ターゲットにデータが生成されました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

【PR】 「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

【PR】 「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS ,

ad

ad

  関連記事

「JAWS-UG 名古屋 2022年 “re:Invent”の復習~忘年会~」に参加しました

re:Inventのおみやげも飲み物、ピザ、お寿司もたくさん。 コラボベースさん …

AWS Storage Gatewayボリュームゲートウェイを作成してWindowsから使用

ボリュームゲートウェイの作成 Storage Gateway作成メニューからボリ …

IAMユーザーにパスワード変更とMFA設定を許可する

組織管理のIAMで、ユーザーにMFAを使ってサインインしない限り操作は許可しない …

Amazon SES(Simple Email Service)でメール受信時のアクションでLambdaを実行して渡されるデータを見てみる

Amazon SESで受信したメールをS3に保存して、S3のトリガーでLambd …

Extend Switch Roles(Chromeのアドオン)で6つ以上のスイッチロール履歴

最近アカウントIDを忘れたりすることも多くなったので、切り替えに手間取ることがあ …

SCPが影響しないサービスにリンクされたロールにEC2が引き受けるIAMロールは含まれないことを確認

ドキュメントで確認 サービスコントロールポリシーのユーザーガイドには、「SCPは …

S3オブジェクトへのリクエストをCloudTrail, Athenaで識別する(パーティショニング)

Amazon S3オブエジェクトへのリクエストをCloudTrail, Athe …

AWS Lambda(Python3)でSelenium + Chrome Headless + でwebスクレイピングする

インターネット上に公開されている情報をDynamoDBにつっこみたいだけなので、 …

AWS CLIを使用したIAMロールの引き受けコマンドのメモ

よく忘れて調べるのでメモです。 公式のこちらAWS CLI を使用して IAM …

Amazon ECSサービスでAWS App Meshを使用

AWS App MeshユーザーガイドのAWS App Mesh とAmazon …