AWS Step Functions まずはパラレルでLambdaを並列実行してみました

2017/05/27

複数のlambdaの実行制御をLambdaでやってましたが、その部分をStep Functionsで可視化して分けられるのかと思い使えるようにしていきたいと思います。

まずは、パラレルでLambdaを並列実行してみました。

試すこと

最初のLambdaがSQSにキューを作って、次の2つのLambdaがキューの内容を並列でSlackへ投稿します。

Step Functionsの設定

Step Functionsのグラフはこうなりました。

Step Functionsのコードはこちらです。
これをコードに書くとグラフが上記のようになります。

{
  "Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {
    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },
    "slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },
     "Final State": {
      "Type": "Pass",
      "End": true
    }
  }
}

{

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

"Final State": {

"Type": "Pass",

"End": true

}

最初のLambdaの設定

"Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

Comment : コメントを記載します
StartAt : 最初に起動するステートを指定します
States : ステートを記入していきます

    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

最初に実行するステートとして”set_queue”を指定したので、”set_queue”の内容を定義します。

Type : Lambdaを実行する場合”Task”を指定します。
Next : このステートが正常終了した次に実行するステートを指定します。
Resource : Lambdaのarnを指定します。

並列で実行するLambdaの設定

"slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

Type : 並列実行のステートとして”Parallel”を指定します。
Next : 並列実行するステートがすべて正常終了した次に実行するステートを指定します。
Branches : ステートの固まり(States)の配列を定義します。

Branchesの配列の中はそれぞれがStatesとなるので、”StartAt”から指定する必要があるようです。

終了処理

"Final State": {
      "Type": "Pass",
      "End": true
}

"Final State": {

"Type": "Pass",

"End": true

}

Type : 何もしない”Pass”を指定します。
End : 終了なので trueを指定します。

コード

githubにおいてます。

手っ取り早く試したい方はSlackのwebhook incomingとSQSの設定をしてご利用ください。

余談嵌ったエラー

「AWL 定義に問題があります。確認してもう一度お試しください」

“Type”: “Task”,
を
“Type”: “task”,
と書いていることに気づかずに上記エラーで少し嵌りました。

次は分岐とループを調べたいです。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「AWS認定資格試験テキスト　AWS認定AIプラクティショナー」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, step-functions

: RocketChat(EC2インスタンス)でCPU80%以上を10分間継続したら再起動する

先日、数日間のやり取り用で完全に使い捨てとして使っているRocketChatで、 …

: Amazon SES, S3で受信したメールをAWS Lambda, SESで別のメールへ転送する

Amazon SESでメール受信で受信したメールを、毎回S3バケットに見に行って …

: AWSアカウントでルートユーザーが使用されたときにTeamsへ投稿する

Organizations組織内のアカウントのいずれかでルートユーザーが使用され …

: ADOT用のAWS マネージド型 Lambda レイヤーを使ってトレースを送信する

2025年11月にAWS X-Ray SDK / Daemon のサポート終了と …

: Amazon ECS Workshop for AWS Summit Online

INTRODUCTION TO AMAZON ECSに手順や必要なリンクがありま …

: S3バケットポリシーですべてDenyにしてしまったらルートユーザーの出番

特定のConditionsを指定して、それ以外はすべて拒否するS3バケットポリシ …

: AWS CLIからIAM Identity CenterへサインインしてCodeCommitのリポジトリを使用する

Macで操作しました。 AWS CLIバージョンアップ [crayon-696f …

: Pepperで撮影した写真をAmazon Rekognitionで分析してその結果をPepperがしゃべる ~(1)AWS編~

Pepperの機能を使えるところは使って、何かしたいなあと思ってまして。目(カ …

: DS18B20センサー+Raspberry Piで取得した温度をAmazon Kinesis FirehoseからS3へ格納してAthenaでクエリーしたのをQuickSightで可視化する

JAWS DAYS 2017でやりますハンズオンの「[IoTハンズオン] Ras …

: AWS Elastic Beanstalkによって作成されたS3バケットはDeleteBucketが拒否されていた

ちょっとした検証をしたあとに、Elastic Beanstalkのアプリケーショ …

PREV: pyenv update で「pyenv: no such command `update’ 」
NEXT: AWS Well-Architected フレームワークによるクラウドベストプラクティスのセッションを聞いたので自アカウントの環境を確認してみる

AWS Step Functions まずはパラレルでLambdaを並列実行してみました

試すこと

Step Functionsの設定

最初のLambdaの設定

並列で実行するLambdaの設定

終了処理

コード

余談 嵌ったエラー

関連記事

余談嵌ったエラー