AWS複数アカウントのリソースをLambda(Python)から一括操作したくて

2020/01/11 2020/01/16

AWSの複数アカウント(30ちょい)のリソースをまとめて自動処理したくて。
とりあえず、上記のようなアーキテクチャにしました。

操作をする人は、少なくとも次のような人の予定なので問題ないはず。
* マネジメントコンソールにログインして、StepFunctionsステートマシンの実行ができる。
* Jsonを嫌がらない。

AWS StepFunctionsの動的並列処理が可能になってましたので、使いました。
超便利じゃないですか。

StepFunctions ステートマシン

{
  "StartAt": "AccountInitialMap",
  "States": {
    "AccountInitialMap": {
      "Type": "Map",
      "InputPath": "$",
      "ItemsPath": "$.accounts",
      "Iterator": {
        "StartAt": "AccountInitialTask",
        "States": {
          "AccountInitialTask": {
            "Type": "Task",
            "Resource": "arn:aws:lambda:us-east-2:000000000000:function:account-initialize",
            "End": true
          }
        }
      },
      "End": true
    }
  }
}

{

"StartAt": "AccountInitialMap",

"States": {

"AccountInitialMap": {

"Type": "Map",

"InputPath": "$",

"ItemsPath": "$.accounts",

"Iterator": {

"StartAt": "AccountInitialTask",

"States": {

"AccountInitialTask": {

"Type": "Task",

"Resource": "arn:aws:lambda:us-east-2:000000000000:function:account-initialize",

"End": true

}

"End": true

}

TypeはMapにするとのこと。
InputPathでこのステートに渡す情報、というのは他のステートと同じですね。
配列処理するの対象がItemsPathですね。
Iteratorに配列処理をするStatesを書いていきます。
他に使ってませんが、MaxConcurrencyというのがあって、この配列処理の同時実行数を制御できます。
今回は最大でも30そこそこなので、一気にやってもらいます。

ステートマシン開始時の入力には、アカウントの配列を渡します。

出来ました。

Lambda関数

こちら[Lambdaでクロスアカウント] Lambda 関数で AssumeRole して他の AWS アカウントのリソースにアクセスするでやりたいことがそのまま過不足なく実現できましたので、参考というよりそのまま使わせていただきました。

ランタイム : Python 3.8

IAMロールのポリシーはstsのAssumeRoleを許可してます。
対象のアカウントは変動するかもなのでワイルドカードにしています。
これと、いつものAWS管理ポリシーの「AWSLambdaBasicExecutionRole」もCloudWatchLogsにログを出力するためにアタッチしています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "*"
        }
    ]
}

{

"Version": "2012-10-17",

"Statement": [

{

"Effect": "Allow",

"Action": "sts:AssumeRole",

"Resource": "*"

}

]

}

対象のアカウントのロール側の信頼ポリシーでは、Lamda関数を実行するアカウントを許可しています。

ソースコード
繰り返しますが、[Lambdaでクロスアカウント] Lambda 関数で AssumeRole して他の AWS アカウントのリソースにアクセスするをそのまま使っております。

import logging
import boto3
import json
import os
from boto3.session import Session

logger = logging.getLogger()
logger.setLevel(logging.INFO)

role_name = os.getenv('role_name', '')
region = os.getenv('region', '')
user_name = os.getenv('user_name', '')

def sts_assume_role(account_id):
    role_arn = "arn:aws:iam::{account_id}:role/{role_name}".format(
        account_id=account_id,
        role_name=role_name
    )
    session_name = "session"

    client = boto3.client('sts')

    response = client.assume_role(
        RoleArn=role_arn,
        RoleSessionName=session_name
    )

    session = Session(
        aws_access_key_id=response['Credentials']['AccessKeyId'],
        aws_secret_access_key=response['Credentials']['SecretAccessKey'],
        aws_session_token=response['Credentials']['SessionToken'],
        region_name=region
    )

    return session


def lambda_handler(event, context):
    logger.info(event)
    session = sts_assume_role(event)

    s3 = session.client('s3')
    buckets = s3.list_buckets()
    logger.info(buckets)

    return {
        'statusCode': 200,
        'body': buckets['Buckets'][0]['Name']
    }

import logging

import boto3

import json

import os

from boto3.session import Session

logger = logging.getLogger()

logger.setLevel(logging.INFO)

role_name = os.getenv('role_name', '')

region = os.getenv('region', '')

user_name = os.getenv('user_name', '')

def sts_assume_role(account_id):

role_arn = "arn:aws:iam::{account_id}:role/{role_name}".format(

account_id=account_id,

role_name=role_name

)

session_name = "session"

client = boto3.client('sts')

response = client.assume_role(

RoleArn=role_arn,

RoleSessionName=session_name

)

session = Session(

aws_access_key_id=response['Credentials']['AccessKeyId'],

aws_secret_access_key=response['Credentials']['SecretAccessKey'],

aws_session_token=response['Credentials']['SessionToken'],

region_name=region

)

return session

def lambda_handler(event, context):

logger.info(event)

session = sts_assume_role(event)

s3 = session.client('s3')

buckets = s3.list_buckets()

logger.info(buckets)

return {

'statusCode': 200,

'body': buckets['Buckets'][0]['Name']

}

スイッチロールした結果として、そのアカウントの１つ目のバケット名を返すようにしています。

出来ました〜！
さて、これで各アカウントでやりたい処理をやりたい放題です！

最後までお読みいただきましてありがとうございました！

【PR】「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

【PR】「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第2版」という本を書きました。

【PR】「ポケットスタディ AWS認定デベロッパーアソシエイト」という本を書きました。

【PR】「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

【PR】「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, boto3, lambda, python, step-functions, sts

: AWS Organizationsで組織全体のAWS CloudTrailを有効にしました

Organizationsのサービスメニューから、CloudTrailを選択して …

: php-fpm で Out of memoryが発生した際にメール通知する(AWS CloudWatch , Amazon SNS)

AWS CloudWatch LogsエージェントでAmazon EC2上のNg …

: RDSインスタンス作成時にEC2に接続設定するオプション

EC2 インスタンスと RDS データベースを自動的に接続するの動作を確認した …

: AWS Summit 2016 Tokyoに参加してきました (Day3)

飛天3日目です。 JAWS-UGブースのすぐ前にあったこのお水がめちゃめちゃおい …

: AWS KMSのキーポリシーとアイデンティティベースポリシー

AWS KMSのCMKを作成する際に、管理者とキーユーザーを選択することで、以下 …

: Amazon Kinesis Data StreamsにTwitter検索データを送信する

Kinesis Data Streamsの作成ストリーム名とシャード数を決定す …

: Rocket.ChatからOut Going Webhookを設定してみる

API GatewayとLambda とりあえず、どんなデータが飛んでくるのか見 …

: S3イベントのAWS Lambdaのテスト設定

S3イベントのLambda関数でよく使うのはこんなテスト設定です。なので覚書で …

: S3 Intelligent-Tieringのオブジェクトの階層移動をCloudWatchメトリクスで確認

CloudWatchメトリクスの保存期間は現時点で15ヶ月(455日)なのでそろ …

: Amazon API Gatewayでモックを作る

超シンプルなAPI Gatewayのサンプルがほしかったので、ユーザーガイドの手 …

PREV: AWS DeepLensセットアップの儀
NEXT: IAMユーザーのマネジメントコンソールログインパスワードを変更してDynamoDBに記録するLambda(Python)

AWS複数アカウントのリソースをLambda(Python)から一括操作したくて

StepFunctions ステートマシン

Lambda関数

ad

ad

関連記事

AWS Organizationsで組織全体のAWS CloudTrailを有効にしました

php-fpm で Out of memoryが発生した際にメール通知する(AWS CloudWatch , Amazon SNS)

RDSインスタンス作成時にEC2に接続設定するオプション

AWS Summit 2016 Tokyoに参加してきました (Day3)

AWS KMSのキーポリシーとアイデンティティベースポリシー

Amazon Kinesis Data StreamsにTwitter検索データを送信する

Rocket.ChatからOut Going Webhookを設定してみる

S3イベントのAWS Lambdaのテスト設定

S3 Intelligent-Tieringのオブジェクトの階層移動をCloudWatchメトリクスで確認

Amazon API Gatewayでモックを作る