AWS複数アカウントのリソースをLambda(Python)から一括操作したくて

2020/01/11 2020/01/16

AWSの複数アカウント(30ちょい)のリソースをまとめて自動処理したくて。
とりあえず、上記のようなアーキテクチャにしました。

操作をする人は、少なくとも次のような人の予定なので問題ないはず。
* マネジメントコンソールにログインして、StepFunctionsステートマシンの実行ができる。
* Jsonを嫌がらない。

AWS StepFunctionsの動的並列処理が可能になってましたので、使いました。
超便利じゃないですか。

StepFunctions ステートマシン

{
  "StartAt": "AccountInitialMap",
  "States": {
    "AccountInitialMap": {
      "Type": "Map",
      "InputPath": "$",
      "ItemsPath": "$.accounts",
      "Iterator": {
        "StartAt": "AccountInitialTask",
        "States": {
          "AccountInitialTask": {
            "Type": "Task",
            "Resource": "arn:aws:lambda:us-east-2:000000000000:function:account-initialize",
            "End": true
          }
        }
      },
      "End": true
    }
  }
}

{

"StartAt": "AccountInitialMap",

"States": {

"AccountInitialMap": {

"Type": "Map",

"InputPath": "$",

"ItemsPath": "$.accounts",

"Iterator": {

"StartAt": "AccountInitialTask",

"States": {

"AccountInitialTask": {

"Type": "Task",

"Resource": "arn:aws:lambda:us-east-2:000000000000:function:account-initialize",

"End": true

}

"End": true

}

TypeはMapにするとのこと。
InputPathでこのステートに渡す情報、というのは他のステートと同じですね。
配列処理するの対象がItemsPathですね。
Iteratorに配列処理をするStatesを書いていきます。
他に使ってませんが、MaxConcurrencyというのがあって、この配列処理の同時実行数を制御できます。
今回は最大でも30そこそこなので、一気にやってもらいます。

ステートマシン開始時の入力には、アカウントの配列を渡します。

出来ました。

Lambda関数

こちら[Lambdaでクロスアカウント] Lambda 関数で AssumeRole して他の AWS アカウントのリソースにアクセスするでやりたいことがそのまま過不足なく実現できましたので、参考というよりそのまま使わせていただきました。

ランタイム : Python 3.8

IAMロールのポリシーはstsのAssumeRoleを許可してます。
対象のアカウントは変動するかもなのでワイルドカードにしています。
これと、いつものAWS管理ポリシーの「AWSLambdaBasicExecutionRole」もCloudWatchLogsにログを出力するためにアタッチしています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "*"
        }
    ]
}

{

"Version": "2012-10-17",

"Statement": [

{

"Effect": "Allow",

"Action": "sts:AssumeRole",

"Resource": "*"

}

]

}

対象のアカウントのロール側の信頼ポリシーでは、Lamda関数を実行するアカウントを許可しています。

ソースコード
繰り返しますが、[Lambdaでクロスアカウント] Lambda 関数で AssumeRole して他の AWS アカウントのリソースにアクセスするをそのまま使っております。

import logging
import boto3
import json
import os
from boto3.session import Session

logger = logging.getLogger()
logger.setLevel(logging.INFO)

role_name = os.getenv('role_name', '')
region = os.getenv('region', '')
user_name = os.getenv('user_name', '')

def sts_assume_role(account_id):
    role_arn = "arn:aws:iam::{account_id}:role/{role_name}".format(
        account_id=account_id,
        role_name=role_name
    )
    session_name = "session"

    client = boto3.client('sts')

    response = client.assume_role(
        RoleArn=role_arn,
        RoleSessionName=session_name
    )

    session = Session(
        aws_access_key_id=response['Credentials']['AccessKeyId'],
        aws_secret_access_key=response['Credentials']['SecretAccessKey'],
        aws_session_token=response['Credentials']['SessionToken'],
        region_name=region
    )

    return session


def lambda_handler(event, context):
    logger.info(event)
    session = sts_assume_role(event)

    s3 = session.client('s3')
    buckets = s3.list_buckets()
    logger.info(buckets)

    return {
        'statusCode': 200,
        'body': buckets['Buckets'][0]['Name']
    }

import logging

import boto3

import json

import os

from boto3.session import Session

logger = logging.getLogger()

logger.setLevel(logging.INFO)

role_name = os.getenv('role_name', '')

region = os.getenv('region', '')

user_name = os.getenv('user_name', '')

def sts_assume_role(account_id):

role_arn = "arn:aws:iam::{account_id}:role/{role_name}".format(

account_id=account_id,

role_name=role_name

)

session_name = "session"

client = boto3.client('sts')

response = client.assume_role(

RoleArn=role_arn,

RoleSessionName=session_name

)

session = Session(

aws_access_key_id=response['Credentials']['AccessKeyId'],

aws_secret_access_key=response['Credentials']['SecretAccessKey'],

aws_session_token=response['Credentials']['SessionToken'],

region_name=region

)

return session

def lambda_handler(event, context):

logger.info(event)

session = sts_assume_role(event)

s3 = session.client('s3')

buckets = s3.list_buckets()

logger.info(buckets)

return {

'statusCode': 200,

'body': buckets['Buckets'][0]['Name']

}

スイッチロールした結果として、そのアカウントの１つ目のバケット名を返すようにしています。

出来ました〜！
さて、これで各アカウントでやりたい処理をやりたい放題です！

最後までお読みいただきましてありがとうございました！

【PR】「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】「ポケットスタディ AWS認定デベロッパーアソシエイト」という本を書きました。

【PR】「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, boto3, lambda, python, step-functions, sts

: API Gatewayで顧客レベルの使用量プランを設定する

API GatewayのAPIキーを使って使用量プランでのスロットリングも設定し …

: AWS 認定クラウドプラクティショナーのサンプル問題

AWS認定クラウドプラクティショナのサンプル問題2018年9月25日現在で、英語 …

: RDSリザーブドDBインスタンスを購入しました

リザーブドインスタンス推奨事項を確認したで確認した結果、購入したほうがよさそうで …

: JAWS FESTA 2019 Sapporo 参加&当日スタッフ&企業サポーターで！

2019年のJAWS FESTA は札幌です！今回もありがたいことに、所属して …

: AWS認定ソリューションアーキテクトアソシエイトのサンプル問題

AWS認定ソリューションアーキテクトアソシエイトのサンプル問題の解説を会社のブロ …

: 5分でAlexaスキルを作る

「JAWS-UG Osaka 第22回勉強会東西の中の人が語る!!! Micr …

: RocketChat(EC2インスタンス)でCPU80%以上を10分間継続したら再起動する

先日、数日間のやり取り用で完全に使い捨てとして使っているRocketChatで、 …

: AWS Database Migration Service(DMS)チュートリアル

公式ユーザーガイドのAWS Database Migration Service …

: JAWS DAYS 2018 「Cost-Driven AWS クラウドアーキテクチャデザインとコスト最適化方法 – Cost-Driven AWS Cloud Architecture Design : The Lean Startup on AWS」を聞きました

以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容 …

: AWS Certificate Manager証明書とAmazon Route 53でAmazon API GatewayのAPIのカスタムドメイン名前解決する

AWS Certificate ManagerとAmazon Route 53と …

PREV: AWS DeepLensセットアップの儀
NEXT: IAMユーザーのマネジメントコンソールログインパスワードを変更してDynamoDBに記録するLambda(Python)

AWS複数アカウントのリソースをLambda(Python)から一括操作したくて

StepFunctions ステートマシン

Lambda関数

ad

ad

関連記事

API Gatewayで顧客レベルの使用量プランを設定する

AWS 認定クラウドプラクティショナーのサンプル問題

RDSリザーブドDBインスタンスを購入しました

JAWS FESTA 2019 Sapporo 参加&当日スタッフ&企業サポーターで！

AWS認定ソリューションアーキテクトアソシエイトのサンプル問題

5分でAlexaスキルを作る

RocketChat(EC2インスタンス)でCPU80%以上を10分間継続したら再起動する

AWS Database Migration Service(DMS)チュートリアル

JAWS DAYS 2018 「Cost-Driven AWS クラウドアーキテクチャデザインとコスト最適化方法 – Cost-Driven AWS Cloud Architecture Design : The Lean Startup on AWS」を聞きました

AWS Certificate Manager証明書とAmazon Route 53でAmazon API GatewayのAPIのカスタムドメイン名前解決する