DynamoDB Accelerator(DAX)のサンプルアプリケーション(Python)を実行

2022/07/26 2022/09/15

DynamoDBデベロッパーガイドのDynamoDB Accelerator(DAX)のサンプルアプリケーション(Python)を実行して確認しました。

DAXの準備

DAX用のサブネットグループを2つのAZのプライベートサブネットで作成しました。

DAXのパラメーターグループは、主にTTLの設定でした。

DAXクラスター用のセキュリティグループを作成しました。
アプリケーションクライアント用EC2からのリクエストのみを許可するように設定しました。
8111はDAXクラスターを暗号化しない場合のポートでした。
暗号化する場合は9111です。

DAXクラスターのノードタイプはdax.t3.microにしました。
検証用なのでノードは1つ。

あらかじめ作成したサブネットグループとセキュリティグループを選択しました。

DAXサービスがDynamoDBテーブルに対してリクエストするためのIAMロールとIAMポリシーは新規作成しました。
こんなIAMポリシーが作成されました。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "dynamodb:BatchGetItem",
                "dynamodb:GetItem",
                "dynamodb:Query",
                "dynamodb:Scan",
                "dynamodb:BatchWriteItem",
                "dynamodb:DeleteItem",
                "dynamodb:PutItem",
                "dynamodb:UpdateItem",
                "dynamodb:DescribeLimits",
                "dynamodb:DescribeTimeToLive",
                "dynamodb:DescribeTable",
                "dynamodb:ListTables"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:123456789012:table/*"
            ]
        }
    ]
}

{

"Version": "2012-10-17",

"Statement": [

{

"Effect": "Allow",

"Action": [

"dynamodb:BatchGetItem",

"dynamodb:GetItem",

"dynamodb:Query",

"dynamodb:Scan",

"dynamodb:BatchWriteItem",

"dynamodb:DeleteItem",

"dynamodb:PutItem",

"dynamodb:UpdateItem",

"dynamodb:DescribeLimits",

"dynamodb:DescribeTimeToLive",

"dynamodb:DescribeTable",

"dynamodb:ListTables"

"Resource": [

"arn:aws:dynamodb:us-east-1:123456789012:table/*"

]

}

]

}

あらかじめ作成しておいたパラメーターグループを選択して、クラスターを作成しました。

アプリケーションクライアント用EC2の起動

DAXを作成したVPCのパブリックサブネットにEC2インスタンスを起動して、セッションマネージャーで接続しました。
EC2のIAMロールにはデベロッパーガイドに記載のとおり、DynamoDBとDAXに対してのフルアクセスを設定しました。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "dax:*"
            ],
            "Effect": "Allow",
            "Resource": [
                "*"
            ]
        },
        {
            "Action": [
                "dynamodb:*"
            ],
            "Effect": "Allow",
            "Resource": [
                "*"
            ]
        }
    ]
}

{

"Version": "2012-10-17",

"Statement": [

{

"Action": [

"dax:*"

"Effect": "Allow",

"Resource": [

"*"

]

{

"Action": [

"dynamodb:*"

"Effect": "Allow",

"Resource": [

"*"

]

}

]

}

サンプルアプリケーションの実行

Amazon Linux2の現行バージョンでは、pip3、Python3なので、コマンドを対応させました。
あと、2022年7月26日現在のサンプルアプリケーションは、デベロッパーガイド記載のものから変更されているようで、リージョンを環境変数から取得していました。

region = os.environ.get('AWS_DEFAULT_REGION', 'us-west-2')

1 2	region = os.environ.get('AWS_DEFAULT_REGION', 'us-west-2')

バージニア北部で試していたので、環境変数にus-east-1を設定してから各サンプルアプリを実行しました。

export AWS_DEFAULT_REGION=us-east-1

1 2	export AWS_DEFAULT_REGION=us-east-1

sudo pip3 install amazon-dax-client
wget http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/samples/TryDax.zip
unzip TryDax.zip

sudo pip3 install amazon-dax-client

wget http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/samples/TryDax.zip

unzip TryDax.zip

DAX Pythonクライアントをインストールしてサンプルアプリケーションのダウンロード、展開をしました。

python3 01-create-table.py
python3 02-write-data.py

python3 01-create-table.py

python3 02-write-data.py

サンプル用テーブルが作成されて、テストデータが書き込まれました。

まず、DynamoDBに対して、GetItem、Query、Scanをして出力から時間を確認しました。
GetItemは50回の平均、Query、Scanは5回実行の平均値でした。

$ python3 03-getitem-test.py
Total time: 34.21217966079712 sec - Avg time: 0.6842435932159424 sec
$ python3 04-query-test.py
Total time: 0.07793164253234863 sec - Avg time: 0.015586328506469727 sec
$ python3 05-scan-test.py
Total time: 0.09749674797058105 sec - Avg time: 0.01949934959411621 sec

$ python3 03-getitem-test.py

Total time: 34.21217966079712 sec - Avg time: 0.6842435932159424 sec

$ python3 04-query-test.py

Total time: 0.07793164253234863 sec - Avg time: 0.015586328506469727 sec

$ python3 05-scan-test.py

Total time: 0.09749674797058105 sec - Avg time: 0.01949934959411621 sec

次に、DAXを指定して実行しました。
DAXエンドポイントを指定してサンプルプログラムを実行しました。

$ python3 03-getitem-test.py dax://demodaxcluster.8mguwv.dax-clusters.us-east-1.amazonaws.com
Total time: 6.488941669464111 sec - Avg time: 0.12977883338928223 sec
$ python3 04-query-test.py dax://demodaxcluster.8mguwv.dax-clusters.us-east-1.amazonaws.com
Total time: 0.03676867485046387 sec - Avg time: 0.007353734970092773 sec
$ python3 05-scan-test.py dax://demodaxcluster.8mguwv.dax-clusters.us-east-1.amazonaws.com
Total time: 0.06450843811035156 sec - Avg time: 0.012901687622070312 sec

$ python3 03-getitem-test.py dax://demodaxcluster.8mguwv.dax-clusters.us-east-1.amazonaws.com

Total time: 6.488941669464111 sec - Avg time: 0.12977883338928223 sec

$ python3 04-query-test.py dax://demodaxcluster.8mguwv.dax-clusters.us-east-1.amazonaws.com

Total time: 0.03676867485046387 sec - Avg time: 0.007353734970092773 sec

$ python3 05-scan-test.py dax://demodaxcluster.8mguwv.dax-clusters.us-east-1.amazonaws.com

Total time: 0.06450843811035156 sec - Avg time: 0.012901687622070312 sec

Scanはそれほどでもありませんでしたが、Queryは倍ぐらい、GetItemはかなり速くなったようです。

DAX Pythonクライアントは次のように使用されていました。

import amazondax
client = amazondax.AmazonDaxClient(session, region_name=region, endpoints=[endpoint])
result = client.scan({
    'TableName': table_name
})

import amazondax