RDS ProxyをAurora MySQLで

2021/09/27 2021/09/27

Lambda関数をたくさん同時実行してMySQLにアクセスしても大丈夫なようにRDS Proxyを試してみました。

AuroraはMySQLでクラスターを起動しておきました。

RDS Proxyの作成

RDSコンソールからプロキシーの作成をしました。
エンジンはMySQL、データベースは作成済のAuroraクラスターを指定して、接続プールの最大数は100%にしました。

Secrets Managerが必須なので作成しました。
ユーザー名、パスワードはAuroraクラスターのマスターユーザー名とパスワードを指定しました。
IAMロールは新規作成しました。
サブネットはAuroraクラスターのサブネットグループと同じ。
セキュリティグループはAuroraクラスターと同じですが、自分自信をソースとして3306を許可しておきました。

データベースの準備

create table demo.user (user_id int, user_name varchar(20));
insert into demo.user(user_id, user_name) values(1, ‘yamashita’);
insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

create table demo.user (user_id int, user_name varchar(20));

insert into demo.user(user_id, user_name) values(1, ‘yamashita’);

insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

デモデータを用意しておきました。

テスト用のLambda

Lambdaを実行するLambda関数

import json
import boto3

def lambda_handler(event, context):

    for i in range(100):
        boto3.client('lambda').invoke(
            FunctionName='LambdaRDS',
            InvocationType='Event',
        )
        print(i)

import json

import boto3

def lambda_handler(event, context):

for i in range(100):

boto3.client('lambda').invoke(

FunctionName='LambdaRDS',

InvocationType='Event',

)

print(i)

データベースに接続するLambda関数を100回実行するLambda関数です。

データベースに接続するLambda関数

import boto3
import base64
import json
import pymysql
import time
from botocore.exceptions import ClientError


def get_secret():
    secret_name = "proxydemo"
    region_name = "us-east-1"

    session = boto3.session.Session()
    client = session.client(
        service_name='secretsmanager',
        region_name=region_name
    )

    try:
        get_secret_value_response = client.get_secret_value(
            SecretId=secret_name
        )

    except ClientError as e:
        print(e.response['Error']['Code'])
        if e.response['Error']['Code'] == 'DecryptionFailureException':
            raise e
        elif e.response['Error']['Code'] == 'InternalServiceErrorException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidParameterException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidRequestException':
            raise e
        elif e.response['Error']['Code'] == 'ResourceNotFoundException':
            raise e
    else:
        if 'SecretString' in get_secret_value_response:
            secret = get_secret_value_response['SecretString']
        else:
            secret = base64.b64decode(get_secret_value_response['SecretBinary'])

        return secret


def lambda_handler(event, context):

    secret_dict = json.loads(get_secret())
    connection = pymysql.connect(
        host=secret_dict['host'],
        user=secret_dict['username'],
        password=secret_dict['password'],
        db='demo',
        charset='utf8mb4',
        cursorclass=pymysql.cursors.DictCursor)

    try:
        with connection.cursor() as cursor:
            sql = "SELECT * FROM user"
            cursor.execute(sql)
            dbdata = cursor.fetchall()
            for rows in dbdata:
                print(rows)
            time.sleep(60)
    finally:
        connection.close()

import boto3

import base64

import json

import pymysql

import time

from botocore.exceptions import ClientError

def get_secret():

secret_name = "proxydemo"

region_name = "us-east-1"

session = boto3.session.Session()

client = session.client(

service_name='secretsmanager',

region_name=region_name

)

try:

get_secret_value_response = client.get_secret_value(

SecretId=secret_name

)

except ClientError as e:

print(e.response['Error']['Code'])

if e.response['Error']['Code'] == 'DecryptionFailureException':

raise e

elif e.response['Error']['Code'] == 'InternalServiceErrorException':

raise e

elif e.response['Error']['Code'] == 'InvalidParameterException':

raise e

elif e.response['Error']['Code'] == 'InvalidRequestException':

raise e

elif e.response['Error']['Code'] == 'ResourceNotFoundException':

raise e

else:

if 'SecretString' in get_secret_value_response:

secret = get_secret_value_response['SecretString']

else:

secret = base64.b64decode(get_secret_value_response['SecretBinary'])

return secret

def lambda_handler(event, context):

secret_dict = json.loads(get_secret())

connection = pymysql.connect(

host=secret_dict['host'],

user=secret_dict['username'],

password=secret_dict['password'],

db='demo',

charset='utf8mb4',

cursorclass=pymysql.cursors.DictCursor)

try:

with connection.cursor() as cursor:

sql = "SELECT * FROM user"

cursor.execute(sql)

dbdata = cursor.fetchall()

for rows in dbdata:

print(rows)

time.sleep(60)

finally:

connection.close()

pymysqlはLambdaレイヤーでアップロードしています。
接続してSELECTを実行するだけです。

Auroraクラスタに直接接続

まずは、Auroraクラスタに直接接続してみました。

リクエストの数だけDB接続が作成され、途中から次のエラーになりました。
[ERROR] OperationalError: (1040, ‘Too many connections’)

RDS Proxyを使って接続

プロキシエンドポイントが作成されていたので、host=の行を差し替えました。

今回は’Too many connections’エラーが発生することなくすべて処理ができました。
RDS Proxyがうまくやってくれたのですね。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「AWS認定資格試験テキスト　AWS認定AIプラクティショナー」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, RDS

: AWS CloudShellでboto3(SDK for Python)使うならpython3

本の執筆をしていて、ちょっとAWS CLIやSDKのふるまいを確認したいことがあ …

: AWS Organizationsで新規メンバー登録したアカウントを組織から離して解約

2021年現在ではこの方法しかないと認識していますので書き残します。そのうち新 …

: AWS Storage Gateway File Gateway on EC2インスタンスにmacOSからNFS接続

S3バケットの作成 S3バケットはあらかじめ作成しておきました。マネジメントコ …

: S3バケットのデフォルト暗号化はデフォルトだったことを確認しました

S3バケットのデフォルト暗号化は名前のとおりだとデフォルトなので、暗号化を指定し …

: ヤマムギ vol.9 (AWS)EC2からAWS CLIコマンドを実行してみようハンズオン手順

このブログは2020/5/5に開催しました、「ヤマムギ vol.9 (AWS)E …

: EC2 Auto Recovery機能を設定しておいた

以前EC2インスタンスのリタイア対象になったこともあり、というより、やっておいて …

: AWS Snowファミリーのジョブ作成画面を確認

使わないのですが、画面を見ておきたかったので確認しました。 Snowファミリージ …

: VPCピア接続した先のVPCインターフェイスエンドポイントを使用する

VPC1とVPC2でピア接続しています。 VPC2にはKMSのインターフェイスエ …

: AWS Systems Manager Run CommandでEC2 Linuxのユーザーとカレントディレクトリを確認

AWS Systems Manager Run CommandからEC2 Lin …

: WordPress W3 Total Cache のDatabaseCacheをAmazon ElastiCacheのmemcachedに格納する

このブログのアーキテクチャは現在こちらです。データベースは、Amazon Au …

PREV: Amazon CloudWatch Anomaly Detectionをダッシュボードに設定
NEXT: Aurora Serverless Data APIを有効にしてLambdaからクエリを実行

RDS ProxyをAurora MySQLで

RDS Proxyの作成

データベースの準備

テスト用のLambda

Lambdaを実行するLambda関数

データベースに接続するLambda関数

Auroraクラスタに直接接続

RDS Proxyを使って接続

関連記事