AWS Glueチュートリアル
2021/09/15
AWS Glueのマネジメントコンソールの左ペインの一番下にチュートリアルがあります。
やりましょう。
バージニア北部でやりました。
目次
クローラの追加
チュートリアルの[クローラの追加]を選択すると、[クローラの追加]画面に遷移してメッセージがナビゲートしてくれます。
[次へ]を押下したら、[クローラの追加]ボタンが押下されて画面遷移しました。
クローラの名前に”Flights Data Crawler”と入力して[次へ]を押下しました。
次はクローラのソースタイプの指定で、Data storesかExisting catalog tablesから選べます。
チュートリアルではData storesを選択しました。
Repeat crawls of S3 data storesでは、Crawl all foldersかCrawl new folders onlyから選択できます。
Crawl all foldersを選択しました。
データストアの追加では、S3、JDBC、DynamoDB、DocumentDB、MongoDBから選択できます。
S3を選択しました。
インクルードパスに、チュートリアル用のパス
s3://crawler-public-us-east-1/flight/2016/csv
を入力しました(画面とは違います)。
[次へ]を押下しました。
次の「別のデータストアの追加」画面では、1つのクローラーで複数のデータストアをクロールすることができるようです。
チュートリアルでは[いいえ]を選択しました。
次の「IAMロールの選択」では、新規のIAMロール作成を選択して、DefaultRoleと入力しました。
これでAWSGlueServiceRole-DefaultRoleというIAMロールが作成されます。
スケジュール設定で、周期的なスケジュールが設定できます。
オンデマンドにしました。
「クローラーの出力設定」では、flights-dbデータベースを追加しました。
プレフィックスにflightsと入力しました。
これで完了です。
Flights Data Crawlerを選択して、[クローラの実行]を押下しました。
テーブルの確認
flightscsvテーブルが作成されています。
S3のCSVを読み取ってクローラが自動でスキーマを作成したのですね。
他に詳細情報の確認などを行いました。
ジョブの追加
次に[ジョブの追加]を選択しました。
元のS3バケットのCSVをParquetに変換してくれるそうです。
ジョブの名前、IAMロール、生成されるスクリプトの保存先などを指定しました。
Parquet形式を指定して、出力先にS3バケットを指定しました。
マッピングが表示されました。
スクリプトエディタになりましたので、[ジョブの実行]を押下しました。
指定したS3バケットにParquetファイルが生成されていました。
オブジェクトアクションのS3 Selectで確認したら、Parquetで認識されてました。
CSV出力で確認してみます。
ちゃんとデータを確認できました。
最後までお読みいただきましてありがとうございました!
「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。
![](https://www.sbcr.jp/wp-content/uploads/2023/01/9784815617929-1-407x596.jpg)
「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。
![](https://www.sbcr.jp/wp-content/uploads/2024/01/9784815625382-3-420x596.jpg)
「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。
![](https://www.shuwasystem.co.jp//images/book/637791.jpg)
「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。
![](https://book.mynavi.jp/files/topics/135344_ext_06_0.jpg?v=1673514682)
「AWSではじめるLinux入門ガイド」という本を書きました。
![](https://www.yamamanx.com/wp-content/uploads/2023/12/81Rp5O9We6L._SY522_.jpg)
![@yamamanx](https://www.yamamanx.com/wp-content/plugins/lazy-load/images/1x1.trans.gif)
開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
CloudFrontのカスタムヘッダーがなければALBのルーティングで403レスポンスを返す
大阪リージョンにはWAFがまだないです(2021年4月現在) 今のこのブログの構 …
-
-
AWS CDK とにかくサンプルでやってみる
Cloud9でAWS CDK環境で作った環境でサンプルプロジェクトからのデプロイ …
-
-
ヤマムギvol.26 Amazon DynamoDBのデモをしました
今日はAWS認定クラウドプラクティショナー対策本(緑本)に関係するデモをしました …
-
-
AWS BatchでPandocコンテナイメージを実行する
「ECR(Amazon Elastic Container Registry)に …
-
-
東京リージョンの1つのAZ(apne1-az2)でt3.nanoスポットインスタンスが拒否されちゃいました
拒否されちゃいました ちょっとした検証をしようとしてて、t3.nanoのスポット …
-
-
Amazon EC2 Auto ScalingのVPCは変更できる
EC2 Auto ScalingのVPCは変更できたっけ??と思いまして試しまし …
-
-
Amazon S3アクセスポイント経由からアクション可能なポリシー
S3アクセスポイントを使うことで、複雑で長いバケットポリシーを避け、アクセスポイ …
-
-
VPCピア接続した先のVPCインターフェイスエンドポイントを使用する
VPC1とVPC2でピア接続しています。 VPC2にはKMSのインターフェイスエ …
-
-
AWS Cloud9でJavaサンプルを実行する
リモートで共有開発ができるCloud9便利ですね。 Cloud9でJavaのサン …
-
-
EC2 セッションマネージャにEC2インスタンスの一覧から接続できるようになりました
EC2に接続する時に、どうしてもSSHクライアントから接続しないといけない場合を …