RDS ProxyをAurora MySQLで

2021/09/27 2021/09/27

Lambda関数をたくさん同時実行してMySQLにアクセスしても大丈夫なようにRDS Proxyを試してみました。

AuroraはMySQLでクラスターを起動しておきました。

RDS Proxyの作成

RDSコンソールからプロキシーの作成をしました。
エンジンはMySQL、データベースは作成済のAuroraクラスターを指定して、接続プールの最大数は100%にしました。

Secrets Managerが必須なので作成しました。
ユーザー名、パスワードはAuroraクラスターのマスターユーザー名とパスワードを指定しました。
IAMロールは新規作成しました。
サブネットはAuroraクラスターのサブネットグループと同じ。
セキュリティグループはAuroraクラスターと同じですが、自分自信をソースとして3306を許可しておきました。

データベースの準備

create table demo.user (user_id int, user_name varchar(20));
insert into demo.user(user_id, user_name) values(1, ‘yamashita’);
insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

create table demo.user (user_id int, user_name varchar(20));

insert into demo.user(user_id, user_name) values(1, ‘yamashita’);

insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

デモデータを用意しておきました。

テスト用のLambda

Lambdaを実行するLambda関数

import json
import boto3

def lambda_handler(event, context):

    for i in range(100):
        boto3.client('lambda').invoke(
            FunctionName='LambdaRDS',
            InvocationType='Event',
        )
        print(i)

import json

import boto3

def lambda_handler(event, context):

for i in range(100):

boto3.client('lambda').invoke(

FunctionName='LambdaRDS',

InvocationType='Event',

)

print(i)

データベースに接続するLambda関数を100回実行するLambda関数です。

データベースに接続するLambda関数

import boto3
import base64
import json
import pymysql
import time
from botocore.exceptions import ClientError


def get_secret():
    secret_name = "proxydemo"
    region_name = "us-east-1"

    session = boto3.session.Session()
    client = session.client(
        service_name='secretsmanager',
        region_name=region_name
    )

    try:
        get_secret_value_response = client.get_secret_value(
            SecretId=secret_name
        )

    except ClientError as e:
        print(e.response['Error']['Code'])
        if e.response['Error']['Code'] == 'DecryptionFailureException':
            raise e
        elif e.response['Error']['Code'] == 'InternalServiceErrorException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidParameterException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidRequestException':
            raise e
        elif e.response['Error']['Code'] == 'ResourceNotFoundException':
            raise e
    else:
        if 'SecretString' in get_secret_value_response:
            secret = get_secret_value_response['SecretString']
        else:
            secret = base64.b64decode(get_secret_value_response['SecretBinary'])

        return secret


def lambda_handler(event, context):

    secret_dict = json.loads(get_secret())
    connection = pymysql.connect(
        host=secret_dict['host'],
        user=secret_dict['username'],
        password=secret_dict['password'],
        db='demo',
        charset='utf8mb4',
        cursorclass=pymysql.cursors.DictCursor)

    try:
        with connection.cursor() as cursor:
            sql = "SELECT * FROM user"
            cursor.execute(sql)
            dbdata = cursor.fetchall()
            for rows in dbdata:
                print(rows)
            time.sleep(60)
    finally:
        connection.close()

import boto3

import base64

import json

import pymysql

import time

from botocore.exceptions import ClientError

def get_secret():

secret_name = "proxydemo"

region_name = "us-east-1"

session = boto3.session.Session()

client = session.client(

service_name='secretsmanager',

region_name=region_name

)

try:

get_secret_value_response = client.get_secret_value(

SecretId=secret_name

)

except ClientError as e:

print(e.response['Error']['Code'])

if e.response['Error']['Code'] == 'DecryptionFailureException':

raise e

elif e.response['Error']['Code'] == 'InternalServiceErrorException':

raise e

elif e.response['Error']['Code'] == 'InvalidParameterException':

raise e

elif e.response['Error']['Code'] == 'InvalidRequestException':

raise e

elif e.response['Error']['Code'] == 'ResourceNotFoundException':

raise e

else:

if 'SecretString' in get_secret_value_response:

secret = get_secret_value_response['SecretString']

else:

secret = base64.b64decode(get_secret_value_response['SecretBinary'])

return secret

def lambda_handler(event, context):

secret_dict = json.loads(get_secret())

connection = pymysql.connect(

host=secret_dict['host'],

user=secret_dict['username'],

password=secret_dict['password'],

db='demo',

charset='utf8mb4',

cursorclass=pymysql.cursors.DictCursor)

try:

with connection.cursor() as cursor:

sql = "SELECT * FROM user"

cursor.execute(sql)

dbdata = cursor.fetchall()

for rows in dbdata:

print(rows)

time.sleep(60)

finally:

connection.close()

pymysqlはLambdaレイヤーでアップロードしています。
接続してSELECTを実行するだけです。

Auroraクラスタに直接接続

まずは、Auroraクラスタに直接接続してみました。

リクエストの数だけDB接続が作成され、途中から次のエラーになりました。
[ERROR] OperationalError: (1040, ‘Too many connections’)

RDS Proxyを使って接続

プロキシエンドポイントが作成されていたので、host=の行を差し替えました。

今回は’Too many connections’エラーが発生することなくすべて処理ができました。
RDS Proxyがうまくやってくれたのですね。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, RDS

: Amazon EC2 Auto Scalingのライフサイクルフック

EC2 Auto Scalingにライフサイクルフックという機能があります。ス …

: AWS Organizations SCPがリソースベースのポリシーには影響しないことを確認

AWS Organizations SCPで許可ポリシーの設定をし継承の関係を確 …

: WordPressをAmazon CloudFrontで配信してついでにACM(AWS Certificate Manager)を使って常時SSL化する

当サイトの500と502の発生状況がドイヒーであるとの苦情をいただきまして、Am …

: AWS BackupでRDSスナップショットをクロスリージョンコピー

クロスリージョンでコピーしたい対象と理由このブログはブログのアーキテクチャをコ …

: AWSのサービス数を数えてみました(2020/5/23)

何をもってサービスという単位にするかというのはあるかもしれませんが、とりあえず情 …

: AWS CloudFormationでAmazon DynamoDBテーブルを作ってアイテムを追加する

デモ用にDynamoDBテーブルを作って消して、ということをたまにするので、Cl …

: Amazon Glacierのプロビジョニングされた迅速取り出し容量をなぜか購入しました

過去1年ぐらいのAWSコストをCost Explorerで見てまして、10/10 …

: Redmineの添付ファイルをS3に同期する

RedmineをAWS上で構築するデザインを考えていて、せっかくなので冗長化しよ …

: AWS Organizationsで組織全体のAWS CloudTrailを有効にしました

Organizationsのサービスメニューから、CloudTrailを選択して …

: AWS Lambda(Python3.7)でPandocを実行する

昨日まで(AWS Batch) 昨日までは、Pandocを実行して、S3バケット …

PREV: Amazon CloudWatch Anomaly Detectionをダッシュボードに設定
NEXT: Aurora Serverless Data APIを有効にしてLambdaからクエリを実行

RDS ProxyをAurora MySQLで

RDS Proxyの作成

データベースの準備

テスト用のLambda

Lambdaを実行するLambda関数

データベースに接続するLambda関数

Auroraクラスタに直接接続

RDS Proxyを使って接続

ad

ad

関連記事