ヤマムギ

growing hard days.

*

Amazon S3オブエジェクトへのリクエストをCloudTrail, Athenaで識別

      2021/06/06

こちらCloudTrail を使用した Amazon S3 リクエストの識別に書いているとおりに設定しました。

Query result locationバケットの設定

Athenaをはじめて作成するアカウント、リージョンでしたので、Query result locationのS3バケットを設定しました。

Athenaデータベースの作成

[Run Query]で実行しました。

テーブルの作成

ROW FORMAT SERDE ‘com.amazon.emr.hive.serde.CloudTrailSerde’
STORED AS INPUTFORMAT ‘com.amazon.emr.cloudtrail.CloudTrailInputFormat’
OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat’

CloudTrail SerDeというのを使っているのですね。

bucketnameはCloudTrailのログを出力しているS3バケットを指定しました。
作成できたので、テストクエリーで確認します。

クエリー結果が表示されました。

S3オブジェクトへのリクエストを抽出

期間を指定してGetObjectを抽出してみました。

出力できました。

1.44GBのデータをスキャンして、1分32秒かかりました。
コストもパフォーマンスもよくないですね。
次のブログでパーティショニングを試します。


最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS , , ,

ad

ad

  関連記事

Amazon Rekognitionでイベント参加者の顔写真を解析して似ている人ランキングをその場で作る

2017/9/21に開催されたAWS Cloud Roadshow 2017 大 …

VPC環境でLambdaを100同時実行してプライベートIPアドレスを確認した

2019年9月発表のLambda 関数が VPC 環境で改善されます以降に、VP …

ユーザーガイドの方法でGithubからCodeCommitへリポジトリを移行する

GitリポジトリをAWS CodeCommitに移行するを参照しました。 環境 …

kintoneでEveryoneに権限が設定されているアプリをAWS Lambdaで一括チェックする

こないだ、kintone Cafeでユーザーが自由に作成している環境だと、どんな …

Amazon EC2のスクリーンショットとは

ドキュメント見てたらAmazon EC2でスクリーンショットって機能があったので …

Amazon EMR 「Hadoop を使用してビッグデータを分析」チュートリアルをやってみました

AWS認定データアナリティクス受験準備の一環で、Amazon EMRのチュートリ …

DynamoDB IAMポリシーで特定項目だけを許可する

検証記録です。 対象テーブル 書籍のサンプルで作ったこちらです。 所属バンドの楽 …

Amazon Route 53プライベートホストゾーン設定

Amazon Route 53プライベートホストゾーンを作成してみました。 Ro …

slackのbotにWikipediaを調べてもらう(Python on AWS Lambda + API Gateway)

slackのbotに少しでも役に立ってもらおうと、Wikipediaを調べてもら …

ハンズオン目的アカウントに設定しているSCPポリシー

AWS Organizationsでハンズオン目的のアカウントに設定しているSC …