Amazon S3オブエジェクトへのリクエストをCloudTrail, Athenaで識別

2021/05/30 2021/06/06

こちらCloudTrail を使用した Amazon S3 リクエストの識別に書いているとおりに設定しました。

Query result locationバケットの設定

Athenaをはじめて作成するアカウント、リージョンでしたので、Query result locationのS3バケットを設定しました。

Athenaデータベースの作成

CREATE DATABASE s3_cloudtrail_events_db

1 2	CREATE DATABASE s3_cloudtrail_events_db

[Run Query]で実行しました。

テーブルの作成

CREATE EXTERNAL TABLE s3_cloudtrail_events_db.cloudtrail_myawsexamplebucket1_table(
        eventversion STRING,
        useridentity STRUCT<
            type:STRING,
            principalid:STRING,
            arn:STRING,
            accountid:STRING,
            invokedby:STRING,
            accesskeyid:STRING,
            userName:STRING,
            sessioncontext:STRUCT<
                attributes:STRUCT<
                        mfaauthenticated:STRING,
                        creationdate:STRING>,
                        sessionissuer:STRUCT<  
                        type:STRING,
                        principalId:STRING,
                        arn:STRING, 
                        accountId:STRING,
                        userName:STRING>
                >
             >,
        eventtime STRING,
        eventsource STRING,
        eventname STRING,
        awsregion STRING,
        sourceipaddress STRING,
        useragent STRING,
        errorcode STRING,
        errormessage STRING,
        requestparameters STRING,
        responseelements STRING,
        additionaleventdata STRING,
        requestid STRING,
        eventid STRING,
        resources ARRAY<STRUCT<
            ARN:STRING,
            accountId:STRING,
            type:STRING>>,
        eventtype STRING,
        apiversion STRING,
        readonly STRING,
        recipientaccountid STRING,
        serviceeventdetails STRING,
        sharedeventid STRING,
        vpcendpointid STRING
    )
    ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
    STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION 's3://bucketname/AWSLogs/123456789012/';

CREATE EXTERNAL TABLE s3_cloudtrail_events_db.cloudtrail_myawsexamplebucket1_table(

eventversion STRING,

useridentity STRUCT<

type:STRING,

principalid:STRING,

arn:STRING,

accountid:STRING,

invokedby:STRING,

accesskeyid:STRING,

userName:STRING,

sessioncontext:STRUCT<

attributes:STRUCT<

mfaauthenticated:STRING,

creationdate:STRING>,

sessionissuer:STRUCT<

type:STRING,

principalId:STRING,

arn:STRING,

accountId:STRING,

userName:STRING>

eventtime STRING,

eventsource STRING,

eventname STRING,

awsregion STRING,

sourceipaddress STRING,

useragent STRING,

errorcode STRING,

errormessage STRING,

requestparameters STRING,

responseelements STRING,

additionaleventdata STRING,

requestid STRING,

eventid STRING,

resources ARRAY<STRUCT<

ARN:STRING,

accountId:STRING,

type:STRING>>,

eventtype STRING,

apiversion STRING,

readonly STRING,

recipientaccountid STRING,

serviceeventdetails STRING,

sharedeventid STRING,

vpcendpointid STRING

)

ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'

STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'

OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION 's3://bucketname/AWSLogs/123456789012/';

ROW FORMAT SERDE ‘com.amazon.emr.hive.serde.CloudTrailSerde’
STORED AS INPUTFORMAT ‘com.amazon.emr.cloudtrail.CloudTrailInputFormat’
OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat’

CloudTrail SerDeというのを使っているのですね。

bucketnameはCloudTrailのログを出力しているS3バケットを指定しました。
作成できたので、テストクエリーで確認します。

SELECT * FROM s3_cloudtrail_events_db.cloudtrail_myawsexamplebucket1_table
WHERE eventsource='s3.amazonaws.com'
LIMIT 2;

SELECT * FROM s3_cloudtrail_events_db.cloudtrail_myawsexamplebucket1_table

WHERE eventsource='s3.amazonaws.com'

LIMIT 2;

クエリー結果が表示されました。

S3オブジェクトへのリクエストを抽出

期間を指定してGetObjectを抽出してみました。

SELECT
  eventTime, 
  eventName, 
  eventSource, 
  sourceIpAddress, 
  userAgent, 
  json_extract_scalar(requestParameters, '$.bucketName') as bucketName, 
  json_extract_scalar(requestParameters, '$.key') as object,
  userIdentity.arn as userArn
FROM
  s3_cloudtrail_events_db.cloudtrail_myawsexamplebucket1_table
WHERE
  eventName = 'GetObject'
  AND eventTime BETWEEN '2021-06-01T00:00:00Z' and '2021-06-03T00:00:00Z'