RDS ProxyをAurora MySQLで

2021/09/27 2021/09/27

Lambda関数をたくさん同時実行してMySQLにアクセスしても大丈夫なようにRDS Proxyを試してみました。

AuroraはMySQLでクラスターを起動しておきました。

RDS Proxyの作成

RDSコンソールからプロキシーの作成をしました。
エンジンはMySQL、データベースは作成済のAuroraクラスターを指定して、接続プールの最大数は100%にしました。

Secrets Managerが必須なので作成しました。
ユーザー名、パスワードはAuroraクラスターのマスターユーザー名とパスワードを指定しました。
IAMロールは新規作成しました。
サブネットはAuroraクラスターのサブネットグループと同じ。
セキュリティグループはAuroraクラスターと同じですが、自分自信をソースとして3306を許可しておきました。

データベースの準備

create table demo.user (user_id int, user_name varchar(20));
insert into demo.user(user_id, user_name) values(1, ‘yamashita’);
insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

create table demo.user (user_id int, user_name varchar(20));

insert into demo.user(user_id, user_name) values(1, ‘yamashita’);

insert into demo.user(user_id, user_name) values(2, ‘mitsuhiro’);

デモデータを用意しておきました。

テスト用のLambda

Lambdaを実行するLambda関数

import json
import boto3

def lambda_handler(event, context):

    for i in range(100):
        boto3.client('lambda').invoke(
            FunctionName='LambdaRDS',
            InvocationType='Event',
        )
        print(i)

import json

import boto3

def lambda_handler(event, context):

for i in range(100):

boto3.client('lambda').invoke(

FunctionName='LambdaRDS',

InvocationType='Event',

)

print(i)

データベースに接続するLambda関数を100回実行するLambda関数です。

データベースに接続するLambda関数

import boto3
import base64
import json
import pymysql
import time
from botocore.exceptions import ClientError


def get_secret():
    secret_name = "proxydemo"
    region_name = "us-east-1"

    session = boto3.session.Session()
    client = session.client(
        service_name='secretsmanager',
        region_name=region_name
    )

    try:
        get_secret_value_response = client.get_secret_value(
            SecretId=secret_name
        )

    except ClientError as e:
        print(e.response['Error']['Code'])
        if e.response['Error']['Code'] == 'DecryptionFailureException':
            raise e
        elif e.response['Error']['Code'] == 'InternalServiceErrorException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidParameterException':
            raise e
        elif e.response['Error']['Code'] == 'InvalidRequestException':
            raise e
        elif e.response['Error']['Code'] == 'ResourceNotFoundException':
            raise e
    else:
        if 'SecretString' in get_secret_value_response:
            secret = get_secret_value_response['SecretString']
        else:
            secret = base64.b64decode(get_secret_value_response['SecretBinary'])

        return secret


def lambda_handler(event, context):

    secret_dict = json.loads(get_secret())
    connection = pymysql.connect(
        host=secret_dict['host'],
        user=secret_dict['username'],
        password=secret_dict['password'],
        db='demo',
        charset='utf8mb4',
        cursorclass=pymysql.cursors.DictCursor)

    try:
        with connection.cursor() as cursor:
            sql = "SELECT * FROM user"
            cursor.execute(sql)
            dbdata = cursor.fetchall()
            for rows in dbdata:
                print(rows)
            time.sleep(60)
    finally:
        connection.close()

import boto3

import base64

import json

import pymysql

import time

from botocore.exceptions import ClientError

def get_secret():

secret_name = "proxydemo"

region_name = "us-east-1"

session = boto3.session.Session()

client = session.client(

service_name='secretsmanager',

region_name=region_name

)

try:

get_secret_value_response = client.get_secret_value(

SecretId=secret_name

)

except ClientError as e:

print(e.response['Error']['Code'])

if e.response['Error']['Code'] == 'DecryptionFailureException':

raise e

elif e.response['Error']['Code'] == 'InternalServiceErrorException':

raise e

elif e.response['Error']['Code'] == 'InvalidParameterException':

raise e

elif e.response['Error']['Code'] == 'InvalidRequestException':

raise e

elif e.response['Error']['Code'] == 'ResourceNotFoundException':

raise e

else:

if 'SecretString' in get_secret_value_response:

secret = get_secret_value_response['SecretString']

else:

secret = base64.b64decode(get_secret_value_response['SecretBinary'])

return secret

def lambda_handler(event, context):

secret_dict = json.loads(get_secret())

connection = pymysql.connect(

host=secret_dict['host'],

user=secret_dict['username'],

password=secret_dict['password'],

db='demo',

charset='utf8mb4',

cursorclass=pymysql.cursors.DictCursor)

try:

with connection.cursor() as cursor:

sql = "SELECT * FROM user"

cursor.execute(sql)

dbdata = cursor.fetchall()

for rows in dbdata:

print(rows)

time.sleep(60)

finally:

connection.close()

pymysqlはLambdaレイヤーでアップロードしています。
接続してSELECTを実行するだけです。

Auroraクラスタに直接接続

まずは、Auroraクラスタに直接接続してみました。

リクエストの数だけDB接続が作成され、途中から次のエラーになりました。
[ERROR] OperationalError: (1040, ‘Too many connections’)

RDS Proxyを使って接続

プロキシエンドポイントが作成されていたので、host=の行を差し替えました。

今回は’Too many connections’エラーが発生することなくすべて処理ができました。
RDS Proxyがうまくやってくれたのですね。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「AWS認定資格試験テキスト　AWS認定AIプラクティショナー」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, RDS

: AWS CodePipeline クロスアカウントアクセスパイプライン

AWS CodePipelineでクロスアカウントアクセスのパイプライン作成手順 …

: 「Fin-JAWS 第14回 Fin人類育成計画」で話させていただきました！

「Fin-JAWS 第14回 Fin人類育成計画」で話させていただきました。久 …

: CloudWatch Logs機密データ保護を設定しました

Amazon CloudWatch Logs を使用して機密データを保護するがリ …

: Amazon Location Service入門ワークショップの前提環境準備

Amazon Location Service入門ワークショップの前提環境を構築 …

: AWS IAMのMFA「エンティティは既に存在しています」に対応しました

エンティティは既に存在しています MFA Device entity at th …

: AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した

ちょっと試してみたくてやってみました。手順はこちらのチュートリアルを参考にすす …

: ヤマムギvol.27 Amazon Route 53プライベートホストゾーンとリゾルバーのデモをしました

今日は『AWS認定資格試験テキスト&問題集AWS認定ソリューションアーキ …

: Selenium, Headless ChromeとAWS Lambdaで夜な夜なスクレイピング

このようなアーキテクチャで、Alexaスキルの開発を進めていまして、元となる情報 …

: Amazon Linux にnodejsとmongoDBをインストールする

EPEL リポジトリを利用してnodejsとnpmをインストールする [bash …

: Amazon Rekognitionでイベント参加者の顔写真を解析して似ている人ランキングをその場で作る

2017/9/21に開催されたAWS Cloud Roadshow 2017 大 …

PREV: Amazon CloudWatch Anomaly Detectionをダッシュボードに設定
NEXT: Aurora Serverless Data APIを有効にしてLambdaからクエリを実行

RDS ProxyをAurora MySQLで

RDS Proxyの作成

データベースの準備

テスト用のLambda

Lambdaを実行するLambda関数

データベースに接続するLambda関数

Auroraクラスタに直接接続

RDS Proxyを使って接続

関連記事