AWS Step Functions まずはパラレルでLambdaを並列実行してみました

2017/05/27

複数のlambdaの実行制御をLambdaでやってましたが、その部分をStep Functionsで可視化して分けられるのかと思い使えるようにしていきたいと思います。

まずは、パラレルでLambdaを並列実行してみました。

試すこと

最初のLambdaがSQSにキューを作って、次の2つのLambdaがキューの内容を並列でSlackへ投稿します。

Step Functionsの設定

Step Functionsのグラフはこうなりました。

Step Functionsのコードはこちらです。
これをコードに書くとグラフが上記のようになります。

{
  "Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {
    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },
    "slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },
     "Final State": {
      "Type": "Pass",
      "End": true
    }
  }
}

{

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

"Final State": {

"Type": "Pass",

"End": true

}

最初のLambdaの設定

"Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

Comment : コメントを記載します
StartAt : 最初に起動するステートを指定します
States : ステートを記入していきます

    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

最初に実行するステートとして”set_queue”を指定したので、”set_queue”の内容を定義します。

Type : Lambdaを実行する場合”Task”を指定します。
Next : このステートが正常終了した次に実行するステートを指定します。
Resource : Lambdaのarnを指定します。

並列で実行するLambdaの設定

"slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

Type : 並列実行のステートとして”Parallel”を指定します。
Next : 並列実行するステートがすべて正常終了した次に実行するステートを指定します。
Branches : ステートの固まり(States)の配列を定義します。

Branchesの配列の中はそれぞれがStatesとなるので、”StartAt”から指定する必要があるようです。

終了処理

"Final State": {
      "Type": "Pass",
      "End": true
}

"Final State": {

"Type": "Pass",

"End": true

}

Type : 何もしない”Pass”を指定します。
End : 終了なので trueを指定します。

コード

githubにおいてます。

手っ取り早く試したい方はSlackのwebhook incomingとSQSの設定をしてご利用ください。

余談嵌ったエラー

「AWL 定義に問題があります。確認してもう一度お試しください」

“Type”: “Task”,
を
“Type”: “task”,
と書いていることに気づかずに上記エラーで少し嵌りました。

次は分岐とループを調べたいです。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「AWS認定資格試験テキスト　AWS認定AIプラクティショナー」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, step-functions

: JAWS FESTA 2019 Sapporo 参加&当日スタッフ&企業サポーターで！

2019年のJAWS FESTA は札幌です！今回もありがたいことに、所属して …

: AWSアカウント内特定リージョン内のDynamoDBテーブルを全削除するLambda(Python)

やりたいことタイトル通りですが、特定アカウントの特定リージョン内のDynamo …

: AWS Global Acceleratorでアクセラレーターを作成する

バージニア北部、東京、大阪のEC2インスタンスをエンドポイントにして作成してみま …

: AWS Launch WizardでMicrosoft IIS環境を構築してみました

AWS Launch Wizardを知っていますか？私は知りませんでした。 A …

: Lambda関数からAWS Systems Managerパラメータストアの値を取得して更新する

Lambda関数で自分自身の環境変数を更新するだと、Lambdaのエイリアスと …

: AWS 認定クラウドプラクティショナーのサンプル問題

AWS認定クラウドプラクティショナのサンプル問題2018年9月25日現在で、英語 …

: AWS BatchでPandocコンテナイメージを実行する

「ECR(Amazon Elastic Container Registry)に …

: Apple Silicon M1 MacBook ProにAWS CLI v2をインストール

公式手順どおりにインストールしました。 macOS での AWS CLI バージ …

: AWS Transit Gatewayピアリング接続確認

AWS Transit Gatewayのピアリング接続を使用して、異なるリージョ …

: AWS Summit 2016 Tokyoに参加してきました (Day2)

馬込は非常に良い天気です。泊まっている部屋が2Fでしたので窓を明けると歩いてい …

PREV: pyenv update で「pyenv: no such command `update’ 」
NEXT: AWS Well-Architected フレームワークによるクラウドベストプラクティスのセッションを聞いたので自アカウントの環境を確認してみる

AWS Step Functions まずはパラレルでLambdaを並列実行してみました

試すこと

Step Functionsの設定

最初のLambdaの設定

並列で実行するLambdaの設定

終了処理

コード

余談 嵌ったエラー

関連記事

余談嵌ったエラー