AWS LambdaでS3 Select

2020/03/14 2020/06/06

RDSスナップショットをS3にエクスポートした、ParquetフォーマットのデータにAWS LambdaでS3 Selectを実行してみました。

ParquetフォーマットのデータにS3 Select SQLを実行するでマネジメントコンソールで試したことをAWS Lambda(Python)から実行しました。

実行したコードと結果

import json
import boto3

bucket_name = 'xxxxxxxxxxxxxx'
object_key = 'xxxxxxxxxxxxxxxxxx.gz.parquet'


def lambda_handler(event, context):
    s3 = boto3.client('s3')
    for year in range(2014, 2021):
        response = s3.select_object_content(
            Bucket=bucket_name,
            Key=object_key,
            InputSerialization={
                'Parquet': {}
            },
            OutputSerialization={
                'JSON': {}
            },
            Expression='select count(*) from s3object where "post_type" = \'post\' and substring(to_string("post_date", \'y-MM-dd\'\'T\'\'H:m:ssX\'), 1, 4) = \'{year}\' '.format(
                            year=str(year)    
                        ),
            ExpressionType='SQL'
        )
        for event_stream in response['Payload']:
            if 'Records' in event_stream:
                print(str(year))
                print(event_stream['Records']['Payload'])

import json

import boto3

bucket_name = 'xxxxxxxxxxxxxx'

object_key = 'xxxxxxxxxxxxxxxxxx.gz.parquet'

def lambda_handler(event, context):

s3 = boto3.client('s3')

for year in range(2014, 2021):

response = s3.select_object_content(

Bucket=bucket_name,

Key=object_key,

InputSerialization={

'Parquet': {}

OutputSerialization={

'JSON': {}

Expression='select count(*) from s3object where "post_type" = \'post\' and substring(to_string("post_date", \'y-MM-dd\'\'T\'\'H:m:ssX\'), 1, 4) = \'{year}\' '.format(

year=str(year)

ExpressionType='SQL'

)

for event_stream in response['Payload']:

if 'Records' in event_stream:

print(str(year))

print(event_stream['Records']['Payload'])

結果出力

2014
b'{"_1":41}\n'
2015
b'{"_1":91}\n'
2016
b'{"_1":80}\n'
2017
b'{"_1":118}\n'
2018
b'{"_1":120}\n'
2019
b'{"_1":56}\n'
2020
b'{"_1":112}\n'

2014

b'{"_1":41}\n'

2015

b'{"_1":91}\n'

2016

b'{"_1":80}\n'

2017

b'{"_1":118}\n'

2018

b'{"_1":120}\n'

2019

b'{"_1":56}\n'

2020

b'{"_1":112}\n'

元データはこのブログのRDSスナップショットですので、年間記事件数を出してみました。
過去最高は2018年の120本で、今年はすでに110本を超えてますので、過去最高になりそうです。
去年がサボりすぎでしたので反省。

IAMロールの権限

S3は対象オブジェクトに対してのGetObjectがselectリクエストには必要です。

他は、RDSスナップショットのエクスポート時にKMSで暗号化してましたので、KMSへの権限も必要です。

ですので、AWS管理ポリシーのAWSLambdaBasicExecutionRoleと、以下の2つのインラインポリシーを設定しました。

s3:GetObject

selectの実行にListBucketは必要ありませんが、指定したオブジェクトが見つからない場合に「An error occurred (NoSuchKey) when calling the SelectObjectContent operation: The specified key does not exist.」を出力するためです。
ListBucketがないと、「An error occurred (AccessDenied) when calling the SelectObjectContent operation: Access Denied」となってしまい切り分けが難しくなります。

bucketname/*としてますが、もちろん特定のプレフィックスやオブエジェクトでもOKです。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::bucketname/*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::bucketname"
        }
    ]
}

{

"Version": "2012-10-17",

"Statement": [

{

"Effect": "Allow",

"Action": "s3:GetObject",

"Resource": "arn:aws:s3:::bucketname/*"

{

"Effect": "Allow",

"Action": "s3:ListBucket",

"Resource": "arn:aws:s3:::bucketname"

}

]

}

kms:Decrypt

暗号化に使ったキーを指定しています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "kms:Decrypt",
            "Resource": "arn:aws:kms:ap-northeast-1:123456789012:key/xxxxxxxxxxxxxxx"
        }
    ]
}