ヤマムギ

growing hard days.

*

AWS GlueでAurora JDBC接続でS3へのジョブを実行

   


Aurora Serverless v1のMySQLタイプデータベースからS3へ、特定のテーブルレコードをJSON形式で保存しました。

前提

  • Aurora Serverless v1のVPCにはS3ゲートウェイVPCエンドポイントがあり、サブネットにはルートがある
  • Aurora Serverless v1インスタンスのセキュリティグループインバウンドには自IDからのすべてのトラフィックを許可してGlueも同じセキュリティグループを使用する

接続の作成

まずAuroraへの接続を作成しました。

接続名を入力して、接続タイプにJDBCを選択しました。
接続タイプにRDSもあったのですが、Aurora Serverless v1のインスタンスが選択肢に出てこなかったので、JDBCにしました。

JDBC URLはこのようになりました。
jdbc:mysql://eccube-cluster.cluster-c3gngubysyz7.us-east-1.rds.amazonaws.com:3306/eccube

データベースユーザー名、パスワード、VPC、サブネット、セキュリティグループを設定しました。

作成できたのでテストしました。

テストが正常完了しました。

クローラーの作成と実行

クローラーの作成では、データストアにJDBCで作成した接続を選択しました。
インクルードパスはデータベース/テーブルでした。

クローラー作成後、実行しました。

接続とスキーマを含むデータカタログテーブルが作成されました。

ジョブの作成と実行

続いてジョブを作成しました。

ソースにテーブルを設定しました。

マッピングはデフォルトのままにしました。

ターゲットのS3バケットとプレフィックスを指定して、フォーマットはJSONにしました。

そしてジョブを作成して実行後、ターゲットにデータが生成されました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

 - AWS ,

ad

ad

  関連記事

AWSアカウント内特定リージョン内のDynamoDBテーブルを全削除するLambda(Python)

やりたいこと タイトル通りですが、特定アカウントの特定リージョン内のDynamo …

CUSTOMINEを使ってkintoneからAWS Lambdaを実行する(Cognito認証付き)

先日の記事「kintoneのカスタマイズ開発を超速にするCUSTOMINE」で書 …

IAMユーザーにパスワード変更とMFA設定を許可する

組織管理のIAMで、ユーザーにMFAを使ってサインインしない限り操作は許可しない …

再会の日 ~re:Union 2018 Osaka by JAWS-UG~

8/5は大阪でre:Unionでした。 「再会」と名うったこのイベントは、6月に …

Amazon Linux2のCloud9でPython CDKのモジュールインストール

AMIがCloud9AmazonLinux2-2021-02-02T16-48の …

AWS Lambda(Python)でDynamoDB テーブルを日次で削除/作成(オートスケーリング付き)

この記事はAWS #2 Advent Calendar 2018に参加した記事で …

VyOSでssm-userからvyosユーザーに切り替える

EC2 VyOSで/etc/resolv.confを設定しました VyOSにSS …

JAWS-UG 大阪 関西女子合同 Amazon Personalizeハンズオンやってみました

久しぶりに大阪でJAWS-UGに参加です。 Amazon Personalize …

新規アカウントでAWS Budgetsの設定をしました

新規で組織を作ってAWS Budgetsを久しぶりに設定しました。 作成してすぐ …

AWS CloudHSMを起動してみました

なかなか触る機会のないサービス、CloudHSM。 起動してみました。 手順はユ …