AWS Step Functions まずはパラレルでLambdaを並列実行してみました

2017/05/27

複数のlambdaの実行制御をLambdaでやってましたが、その部分をStep Functionsで可視化して分けられるのかと思い使えるようにしていきたいと思います。

まずは、パラレルでLambdaを並列実行してみました。

試すこと

最初のLambdaがSQSにキューを作って、次の2つのLambdaがキューの内容を並列でSlackへ投稿します。

Step Functionsの設定

Step Functionsのグラフはこうなりました。

Step Functionsのコードはこちらです。
これをコードに書くとグラフが上記のようになります。

{
  "Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {
    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },
    "slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },
     "Final State": {
      "Type": "Pass",
      "End": true
    }
  }
}

{

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

"Final State": {

"Type": "Pass",

"End": true

}

最初のLambdaの設定

"Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

Comment : コメントを記載します
StartAt : 最初に起動するステートを指定します
States : ステートを記入していきます

    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

最初に実行するステートとして”set_queue”を指定したので、”set_queue”の内容を定義します。

Type : Lambdaを実行する場合”Task”を指定します。
Next : このステートが正常終了した次に実行するステートを指定します。
Resource : Lambdaのarnを指定します。

並列で実行するLambdaの設定

"slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

Type : 並列実行のステートとして”Parallel”を指定します。
Next : 並列実行するステートがすべて正常終了した次に実行するステートを指定します。
Branches : ステートの固まり(States)の配列を定義します。

Branchesの配列の中はそれぞれがStatesとなるので、”StartAt”から指定する必要があるようです。

終了処理

"Final State": {
      "Type": "Pass",
      "End": true
}

"Final State": {

"Type": "Pass",

"End": true

}

Type : 何もしない”Pass”を指定します。
End : 終了なので trueを指定します。

コード

githubにおいてます。

手っ取り早く試したい方はSlackのwebhook incomingとSQSの設定をしてご利用ください。

余談嵌ったエラー

「AWL 定義に問題があります。確認してもう一度お試しください」

“Type”: “Task”,
を
“Type”: “task”,
と書いていることに気づかずに上記エラーで少し嵌りました。

次は分岐とループを調べたいです。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITトレーナー1年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, step-functions

: AWS CloudFormationでAmazon DynamoDBテーブルを作ってアイテムを追加する

デモ用にDynamoDBテーブルを作って消して、ということをたまにするので、Cl …

: Amazon LinuxのNginx+RDS MySQLにレンタルWebサーバーからWordPressを移設する(失敗、手戻りそのまま記載版)

勉強のためブログサイトを長らくお世話になったロリポップさんから、AWSに移設する …

: Amazon Linux にnodejsとmongoDBをインストールする

EPEL リポジトリを利用してnodejsとnpmをインストールする [cray …

: サイトのHTTPステータスを5分おきにチェックして200以外ならSlackに通知する

すいません。ここ最近出費が重なりまして、某監視サービスのプランを有料プランからF …

: 「JAWS-UG in AWS Cloud Roadshow 2017 大阪」で運営をしました

AWS Cloud Roadshow 2017 大阪のナイトイベントで、「JAW …

: Feedlyのフィードを自動でSlackへ投稿する(AWS Lambda , Amazon DynamoDB)

やりたいこと Feedlyで共有したいフィードに特定のタグを付けます。特定のタ …

: LINE Bot APIのファーストステップをLambda+API Gatewayでやってみたらものすごく簡単で驚いた

トライアル当初はホワイトリストのしばりや、初回反応するまで時間がかかったりとみな …

: S3に置いたMP3ファイルをTwilioから電話再生する(AWS Lambda Python)

Google Calendar Twilio ReminderのTwilioを使 …

: API GatewayのアクセスログをCloudWatchに記録する

Amazon API GatewayのアクセスログをCloudWatchに記録で …

: Amzon Linux のApacheでRedmineとWordPressをバーチャルホストで共存する

EC2とRDSを節約しようと思いまして、Redmineを動かしてるとこに検証用W …

PREV: pyenv update で「pyenv: no such command `update’ 」
NEXT: AWS Well-Architected フレームワークによるクラウドベストプラクティスのセッションを聞いたので自アカウントの環境を確認してみる

AWS Step Functions まずはパラレルでLambdaを並列実行してみました

試すこと

Step Functionsの設定

最初のLambdaの設定

並列で実行するLambdaの設定

終了処理

コード

余談 嵌ったエラー

ad

ad

関連記事

余談嵌ったエラー