AWS複数アカウントのリソースをLambda(Python)から一括操作したくて

2020/01/11 2020/01/16

AWSの複数アカウント(30ちょい)のリソースをまとめて自動処理したくて。
とりあえず、上記のようなアーキテクチャにしました。

操作をする人は、少なくとも次のような人の予定なので問題ないはず。
* マネジメントコンソールにログインして、StepFunctionsステートマシンの実行ができる。
* Jsonを嫌がらない。

AWS StepFunctionsの動的並列処理が可能になってましたので、使いました。
超便利じゃないですか。

StepFunctions ステートマシン

{
  "StartAt": "AccountInitialMap",
  "States": {
    "AccountInitialMap": {
      "Type": "Map",
      "InputPath": "$",
      "ItemsPath": "$.accounts",
      "Iterator": {
        "StartAt": "AccountInitialTask",
        "States": {
          "AccountInitialTask": {
            "Type": "Task",
            "Resource": "arn:aws:lambda:us-east-2:000000000000:function:account-initialize",
            "End": true
          }
        }
      },
      "End": true
    }
  }
}

{

"StartAt": "AccountInitialMap",

"States": {

"AccountInitialMap": {

"Type": "Map",

"InputPath": "$",

"ItemsPath": "$.accounts",

"Iterator": {

"StartAt": "AccountInitialTask",

"States": {

"AccountInitialTask": {

"Type": "Task",

"Resource": "arn:aws:lambda:us-east-2:000000000000:function:account-initialize",

"End": true

}

"End": true

}

TypeはMapにするとのこと。
InputPathでこのステートに渡す情報、というのは他のステートと同じですね。
配列処理するの対象がItemsPathですね。
Iteratorに配列処理をするStatesを書いていきます。
他に使ってませんが、MaxConcurrencyというのがあって、この配列処理の同時実行数を制御できます。
今回は最大でも30そこそこなので、一気にやってもらいます。

ステートマシン開始時の入力には、アカウントの配列を渡します。

出来ました。

Lambda関数

こちら[Lambdaでクロスアカウント] Lambda 関数で AssumeRole して他の AWS アカウントのリソースにアクセスするでやりたいことがそのまま過不足なく実現できましたので、参考というよりそのまま使わせていただきました。

ランタイム : Python 3.8

IAMロールのポリシーはstsのAssumeRoleを許可してます。
対象のアカウントは変動するかもなのでワイルドカードにしています。
これと、いつものAWS管理ポリシーの「AWSLambdaBasicExecutionRole」もCloudWatchLogsにログを出力するためにアタッチしています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "*"
        }
    ]
}

{

"Version": "2012-10-17",

"Statement": [

{

"Effect": "Allow",

"Action": "sts:AssumeRole",

"Resource": "*"

}

]

}

対象のアカウントのロール側の信頼ポリシーでは、Lamda関数を実行するアカウントを許可しています。

ソースコード
繰り返しますが、[Lambdaでクロスアカウント] Lambda 関数で AssumeRole して他の AWS アカウントのリソースにアクセスするをそのまま使っております。

import logging
import boto3
import json
import os
from boto3.session import Session

logger = logging.getLogger()
logger.setLevel(logging.INFO)

role_name = os.getenv('role_name', '')
region = os.getenv('region', '')
user_name = os.getenv('user_name', '')

def sts_assume_role(account_id):
    role_arn = "arn:aws:iam::{account_id}:role/{role_name}".format(
        account_id=account_id,
        role_name=role_name
    )
    session_name = "session"

    client = boto3.client('sts')

    response = client.assume_role(
        RoleArn=role_arn,
        RoleSessionName=session_name
    )

    session = Session(
        aws_access_key_id=response['Credentials']['AccessKeyId'],
        aws_secret_access_key=response['Credentials']['SecretAccessKey'],
        aws_session_token=response['Credentials']['SessionToken'],
        region_name=region
    )

    return session


def lambda_handler(event, context):
    logger.info(event)
    session = sts_assume_role(event)

    s3 = session.client('s3')
    buckets = s3.list_buckets()
    logger.info(buckets)

    return {
        'statusCode': 200,
        'body': buckets['Buckets'][0]['Name']
    }

import logging

import boto3

import json

import os

from boto3.session import Session

logger = logging.getLogger()

logger.setLevel(logging.INFO)

role_name = os.getenv('role_name', '')

region = os.getenv('region', '')

user_name = os.getenv('user_name', '')

def sts_assume_role(account_id):

role_arn = "arn:aws:iam::{account_id}:role/{role_name}".format(

account_id=account_id,

role_name=role_name

)

session_name = "session"

client = boto3.client('sts')

response = client.assume_role(

RoleArn=role_arn,

RoleSessionName=session_name

)

session = Session(

aws_access_key_id=response['Credentials']['AccessKeyId'],

aws_secret_access_key=response['Credentials']['SecretAccessKey'],

aws_session_token=response['Credentials']['SessionToken'],

region_name=region

)

return session

def lambda_handler(event, context):

logger.info(event)

session = sts_assume_role(event)

s3 = session.client('s3')

buckets = s3.list_buckets()

logger.info(buckets)

return {

'statusCode': 200,

'body': buckets['Buckets'][0]['Name']

}

スイッチロールした結果として、そのアカウントの１つ目のバケット名を返すようにしています。

出来ました〜！
さて、これで各アカウントでやりたい処理をやりたい放題です！

最後までお読みいただきましてありがとうございました！

【PR】「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター3年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, boto3, lambda, python, step-functions, sts

: ALBにWAFを関連付けて特定のヘッダー以外はブロックする

おかげさまで、ブログのアクセスも増えてきて、t3.nano EC2インスタンス単 …

: AWS Summit 2016 Tokyoに参加してきました (Day3)

飛天3日目です。 JAWS-UGブースのすぐ前にあったこのお水がめちゃめちゃおい …

: Developers Summit 2018 「AWSのフルマネージドな環境でCI/CDをやってみよう！AWS Cloud9からAWS Fargateへの継続的デプロイをご紹介」を聞きました

※写真は展示のAmazon Echoです。以下は、思ったことや気になったことを …

: slackのbotにWikipediaを調べてもらう(Python on AWS Lambda + API Gateway)

slackのbotに少しでも役に立ってもらおうと、Wikipediaを調べてもら …

: AWS Backupで取得したAMIとスナップショットの削除

個人で使っているAWSリソースの断捨離をしてました。 Cloud9も複数アカウン …

: AWSのサービス数を数えてみました(2020/5/23)

何をもってサービスという単位にするかというのはあるかもしれませんが、とりあえず情 …

: EC2 Auto Recovery機能を設定しておいた

以前EC2インスタンスのリタイア対象になったこともあり、というより、やっておいて …

: ALBのヘルスチェックでPHPとMySQL接続をチェック

当ブログで504エラーが発生して、オートスケーリングにより自動でインスタンスが置 …

: AWS OrganizationsでAWSアカウントを25作りたいのでPythonで作った

AWSアカウントを25作る必要があったので、Lambda Python 3.7で …

: PyCharmにAWS Tool kitをインストールしてサンプルのLambda関数をデプロイして実行しました

この記事はJetBrainsIDE Advent Calendar 2018に参 …

PREV: AWS DeepLensセットアップの儀
NEXT: IAMユーザーのマネジメントコンソールログインパスワードを変更してDynamoDBに記録するLambda(Python)

AWS複数アカウントのリソースをLambda(Python)から一括操作したくて

StepFunctions ステートマシン

Lambda関数

ad

ad

関連記事

ALBにWAFを関連付けて特定のヘッダー以外はブロックする

AWS Summit 2016 Tokyoに参加してきました (Day3)

Developers Summit 2018 「AWSのフルマネージドな環境でCI/CDをやってみよう！AWS Cloud9からAWS Fargateへの継続的デプロイをご紹介」を聞きました

slackのbotにWikipediaを調べてもらう(Python on AWS Lambda + API Gateway)

AWS Backupで取得したAMIとスナップショットの削除

AWSのサービス数を数えてみました(2020/5/23)

EC2 Auto Recovery機能を設定しておいた

ALBのヘルスチェックでPHPとMySQL接続をチェック

AWS OrganizationsでAWSアカウントを25作りたいのでPythonで作った

PyCharmにAWS Tool kitをインストールしてサンプルのLambda関数をデプロイして実行しました