RDS ProxyをAurora MySQLで

2021/09/27 2021/09/27

Lambda関数をたくさん同時実行してMySQLにアクセスしても大丈夫なようにRDS Proxyを試してみました。

AuroraはMySQLでクラスターを起動しておきました。

RDS Proxyの作成

RDSコンソールからプロキシーの作成をしました。
エンジンはMySQL、データベースは作成済のAuroraクラスターを指定して、接続プールの最大数は100%にしました。

Secrets Managerが必須なので作成しました。
ユーザー名、パスワードはAuroraクラスターのマスターユーザー名とパスワードを指定しました。
IAMロールは新規作成しました。
サブネットはAuroraクラスターのサブネットグループと同じ。
セキュリティグループはAuroraクラスターと同じですが、自分自信をソースとして3306を許可しておきました。

データベースの準備

create table demo.user (user_id int, user_name varchar(20));
insert into demo.user(user_id, user_name) values(1, ‘yamashita’);
insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

create table demo.user (user_id int, user_name varchar(20));

insert into demo.user(user_id, user_name) values(1, ‘yamashita’);

insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

デモデータを用意しておきました。

テスト用のLambda

Lambdaを実行するLambda関数

import json
import boto3

def lambda_handler(event, context):

    for i in range(100):
        boto3.client('lambda').invoke(
            FunctionName='LambdaRDS',
            InvocationType='Event',
        )
        print(i)

import json

import boto3

def lambda_handler(event, context):

for i in range(100):

boto3.client('lambda').invoke(

FunctionName='LambdaRDS',

InvocationType='Event',

)

print(i)

データベースに接続するLambda関数を100回実行するLambda関数です。

データベースに接続するLambda関数

import boto3
import base64
import json
import pymysql
import time
from botocore.exceptions import ClientError


def get_secret():
    secret_name = "proxydemo"
    region_name = "us-east-1"

    session = boto3.session.Session()
    client = session.client(
        service_name='secretsmanager',
        region_name=region_name
    )

    try:
        get_secret_value_response = client.get_secret_value(
            SecretId=secret_name
        )

    except ClientError as e:
        print(e.response['Error']['Code'])
        if e.response['Error']['Code'] == 'DecryptionFailureException':
            raise e
        elif e.response['Error']['Code'] == 'InternalServiceErrorException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidParameterException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidRequestException':
            raise e
        elif e.response['Error']['Code'] == 'ResourceNotFoundException':
            raise e
    else:
        if 'SecretString' in get_secret_value_response:
            secret = get_secret_value_response['SecretString']
        else:
            secret = base64.b64decode(get_secret_value_response['SecretBinary'])

        return secret


def lambda_handler(event, context):

    secret_dict = json.loads(get_secret())
    connection = pymysql.connect(
        host=secret_dict['host'],
        user=secret_dict['username'],
        password=secret_dict['password'],
        db='demo',
        charset='utf8mb4',
        cursorclass=pymysql.cursors.DictCursor)

    try:
        with connection.cursor() as cursor:
            sql = "SELECT * FROM user"
            cursor.execute(sql)
            dbdata = cursor.fetchall()
            for rows in dbdata:
                print(rows)
            time.sleep(60)
    finally:
        connection.close()

import boto3

import base64

import json

import pymysql

import time

from botocore.exceptions import ClientError

def get_secret():

secret_name = "proxydemo"

region_name = "us-east-1"

session = boto3.session.Session()

client = session.client(

service_name='secretsmanager',

region_name=region_name

)

try:

get_secret_value_response = client.get_secret_value(

SecretId=secret_name

)

except ClientError as e:

print(e.response['Error']['Code'])

if e.response['Error']['Code'] == 'DecryptionFailureException':

raise e

elif e.response['Error']['Code'] == 'InternalServiceErrorException':

raise e

elif e.response['Error']['Code'] == 'InvalidParameterException':

raise e

elif e.response['Error']['Code'] == 'InvalidRequestException':

raise e

elif e.response['Error']['Code'] == 'ResourceNotFoundException':

raise e

else:

if 'SecretString' in get_secret_value_response:

secret = get_secret_value_response['SecretString']

else:

secret = base64.b64decode(get_secret_value_response['SecretBinary'])

return secret

def lambda_handler(event, context):

secret_dict = json.loads(get_secret())

connection = pymysql.connect(

host=secret_dict['host'],

user=secret_dict['username'],

password=secret_dict['password'],

db='demo',

charset='utf8mb4',

cursorclass=pymysql.cursors.DictCursor)

try:

with connection.cursor() as cursor:

sql = "SELECT * FROM user"

cursor.execute(sql)

dbdata = cursor.fetchall()

for rows in dbdata:

print(rows)

time.sleep(60)

finally:

connection.close()

pymysqlはLambdaレイヤーでアップロードしています。
接続してSELECTを実行するだけです。

Auroraクラスタに直接接続

まずは、Auroraクラスタに直接接続してみました。

リクエストの数だけDB接続が作成され、途中から次のエラーになりました。
[ERROR] OperationalError: (1040, ‘Too many connections’)

RDS Proxyを使って接続

プロキシエンドポイントが作成されていたので、host=の行を差し替えました。

今回は’Too many connections’エラーが発生することなくすべて処理ができました。
RDS Proxyがうまくやってくれたのですね。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, RDS

: iPad ProのWorking CopyでAWS CodeCommitのリポジトリを使う

iPad Proを導入しましたので、原稿執筆や校正でフル活用しようと思いまして。 …

: AWS CodeStarのプロジェクトテンプレートLambda+Pythonによって生成されるもの

勉強会のデモで、AWS CodeStarのプロジェクトテンプレートLambda+ …

: EC2にSystems MangerからCloudWatchエージェントをインストール

CloudWatchエージェント EC2の標準メトリクスでは収集できないメモリの …

: JAWS DAYS 2018 「Cost-Driven AWS クラウドアーキテクチャデザインとコスト最適化方法 – Cost-Driven AWS Cloud Architecture Design : The Lean Startup on AWS」を聞きました

以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容 …

: AWS Cost Explorerの設定で「EC2リソースの推奨事項を受け取る」を有効にしました

「EC2リソースの推奨事項を受け取る」という機能がAWS Cost Explor …

: AWS CDK とにかくサンプルでやってみる

Cloud9でAWS CDK環境で作った環境でサンプルプロジェクトからのデプロイ …

: Cloud9環境を共有した際の環境認証

Cloud9を環境を構築したIAMユーザー以外に共有したとき、その環境から実行す …

: Backlogの実績工数をAmazon QuickSightでの可視化 – 仕組み編

Backlogの実績工数をAmazon QuickSightで可視化してわかった …

: Amazon Glacierでボールトロックポリシーの作成開始をしてみました

Glacierを単体で使用することもそうそうないので、確認しました。まずボール …

: S3バケットポリシーですべてDenyにしてしまったらルートユーザーの出番

特定のConditionsを指定して、それ以外はすべて拒否するS3バケットポリシ …

PREV: Amazon CloudWatch Anomaly Detectionをダッシュボードに設定
NEXT: Aurora Serverless Data APIを有効にしてLambdaからクエリを実行

RDS ProxyをAurora MySQLで

RDS Proxyの作成

データベースの準備

テスト用のLambda

Lambdaを実行するLambda関数

データベースに接続するLambda関数

Auroraクラスタに直接接続

RDS Proxyを使って接続

ad

ad

関連記事