AWS GlueでAurora JDBC接続でS3へのジョブを実行
Aurora Serverless v1のMySQLタイプデータベースからS3へ、特定のテーブルレコードをJSON形式で保存しました。
目次
前提
- Aurora Serverless v1のVPCにはS3ゲートウェイVPCエンドポイントがあり、サブネットにはルートがある
- Aurora Serverless v1インスタンスのセキュリティグループインバウンドには自IDからのすべてのトラフィックを許可してGlueも同じセキュリティグループを使用する
接続の作成
まずAuroraへの接続を作成しました。
接続名を入力して、接続タイプにJDBCを選択しました。
接続タイプにRDSもあったのですが、Aurora Serverless v1のインスタンスが選択肢に出てこなかったので、JDBCにしました。
JDBC URLはこのようになりました。
jdbc:mysql://eccube-cluster.cluster-c3gngubysyz7.us-east-1.rds.amazonaws.com:3306/eccube
データベースユーザー名、パスワード、VPC、サブネット、セキュリティグループを設定しました。
作成できたのでテストしました。
テストが正常完了しました。
クローラーの作成と実行
クローラーの作成では、データストアにJDBCで作成した接続を選択しました。
インクルードパスはデータベース/テーブルでした。
クローラー作成後、実行しました。
接続とスキーマを含むデータカタログテーブルが作成されました。
ジョブの作成と実行
続いてジョブを作成しました。
ソースにテーブルを設定しました。
マッピングはデフォルトのままにしました。
ターゲットのS3バケットとプレフィックスを指定して、フォーマットはJSONにしました。
そしてジョブを作成して実行後、ターゲットにデータが生成されました。
最後までお読みいただきましてありがとうございました!
「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。


開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
AWS CLIでS3マルチパートアップロードを確認
AWS CLI を使用して、Amazon S3 にファイルをマルチパートアップロ …
-
-
AWS Certificate Manager(ACM)メール検証をDNS検証の証明書に差し替えました
ブログの証明書 このブログの証明書の有効期限があと1週間です。 証明書はAWS …
-
-
AWSのサービス数を数えてみました(2020/5/23)
何をもってサービスという単位にするかというのはあるかもしれませんが、とりあえず情 …
-
-
Amazon Linux 2023、T4Gインスタンス、PHP8にWordPressを移行しました
ブログをAmazon Linux 2からAmazon Linux 2023に移行 …
-
-
RocketChatからOutgoing Webhookで呼び出されたAPI Gatewayでtokenをリクエスト検証する
本来はWAFでやったほうがよさそうですが、追加料金を発生させたくない場合にAPI …
-
-
AWS Toolkit for EclipseからLambda関数を直接作成できずにMavenでパッケージ化して作成
AWS Toolkit for EclipseからLambda関数を直接作成 チ …
-
-
「re:CAP ~サーバーワークス re:Invent 2018 報告会~」でre:Invent2018について思われたことを聞かせていただいた
サーバーワークスさんのre:Invent re:CAPにおじゃましました。 re …
-
-
CodeBuildで執筆原稿データをまとめた
今書いている原稿に対して編集者さんから、「できればで構わないのですが、章ごとにマ …
-
-
RDSインスタンスのストレージをgp2からgp3に変更しました
2022/11/9にRDSでgp3ボリュームが使用できるようになりました。 Am …
-
-
AWS Cost Explorerの設定で「EC2リソースの推奨事項を受け取る」を有効にしました
「EC2リソースの推奨事項を受け取る」という機能がAWS Cost Explor …