AWS Step Functions まずはパラレルでLambdaを並列実行してみました

2017/05/27

複数のlambdaの実行制御をLambdaでやってましたが、その部分をStep Functionsで可視化して分けられるのかと思い使えるようにしていきたいと思います。

まずは、パラレルでLambdaを並列実行してみました。

試すこと

最初のLambdaがSQSにキューを作って、次の2つのLambdaがキューの内容を並列でSlackへ投稿します。

Step Functionsの設定

Step Functionsのグラフはこうなりました。

Step Functionsのコードはこちらです。
これをコードに書くとグラフが上記のようになります。

{
  "Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {
    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },
    "slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },
     "Final State": {
      "Type": "Pass",
      "End": true
    }
  }
}

{

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

"Final State": {

"Type": "Pass",

"End": true

}

最初のLambdaの設定

"Comment": "SQS Paralell Test",
  "StartAt": "set_queue",
  "States": {

"Comment": "SQS Paralell Test",

"StartAt": "set_queue",

"States": {

Comment : コメントを記載します
StartAt : 最初に起動するステートを指定します
States : ステートを記入していきます

    "set_queue": {
      "Type": "Task",
      "Next": "slack_post",
      "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"
    },

"set_queue": {

"Type": "Task",

"Next": "slack_post",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:set_queue"

最初に実行するステートとして”set_queue”を指定したので、”set_queue”の内容を定義します。

Type : Lambdaを実行する場合”Task”を指定します。
Next : このステートが正常終了した次に実行するステートを指定します。
Resource : Lambdaのarnを指定します。

並列で実行するLambdaの設定

"slack_post": {
          "Type": "Parallel",
          "Next": "Final State",
          "Branches": [
            {
              "StartAt": "slack_post1",
              "States": {
                "slack_post1": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            },
            {
              "StartAt": "slack_post2",
              "States": {
                "slack_post2": {
                  "Type": "Task",
                  "Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",
                  "End": true
                }
              }
            }
          ]
        },

"slack_post": {

"Type": "Parallel",

"Next": "Final State",

"Branches": [

{

"StartAt": "slack_post1",

"States": {

"slack_post1": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

{

"StartAt": "slack_post2",

"States": {

"slack_post2": {

"Type": "Task",

"Resource": "arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:slack_post",

"End": true

}

]

Type : 並列実行のステートとして”Parallel”を指定します。
Next : 並列実行するステートがすべて正常終了した次に実行するステートを指定します。
Branches : ステートの固まり(States)の配列を定義します。

Branchesの配列の中はそれぞれがStatesとなるので、”StartAt”から指定する必要があるようです。

終了処理

"Final State": {
      "Type": "Pass",
      "End": true
}

"Final State": {

"Type": "Pass",

"End": true

}

Type : 何もしない”Pass”を指定します。
End : 終了なので trueを指定します。

コード

githubにおいてます。

手っ取り早く試したい方はSlackのwebhook incomingとSQSの設定をしてご利用ください。

余談嵌ったエラー

「AWL 定義に問題があります。確認してもう一度お試しください」

“Type”: “Task”,
を
“Type”: “task”,
と書いていることに気づかずに上記エラーで少し嵌りました。

次は分岐とループを調べたいです。

最後までお読みいただきましてありがとうございました！
【PR】「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITトレーナー2年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, step-functions

: Developers Summit 2018 「AWSのフルマネージドな環境でCI/CDをやってみよう！AWS Cloud9からAWS Fargateへの継続的デプロイをご紹介」を聞きました

※写真は展示のAmazon Echoです。以下は、思ったことや気になったことを …

: PyCharmにAWS CloudFormationプラグインをインストールして入力補完してみる

JetBrainsのPython統合開発環境(IDE)のPyCharmを1年ちょ …

: NGINXで500と502のエラーが実は頻発していたらしい

先日Mackerelで当ブログの外形監視を始めたのですが、500と502のエラー …

: Amazon Aurora Serverless 課金確認

Amazon Aurora Serverlessを使い始めてみましたの記事で書い …

: Amazon LinuxにAlfresco Community Editionをインストールする

目次ダウンロード準備Amazon Linuxにインストールする簡易インストール …

: AWS Expert Online at JAWS-UG首都圏エリアに参加して「Amazon EC2 スポットインスタンス再入門」を聞いてきた

AWS Expert Onlineという勉強会がありまして、AWS ソリューショ …

: 2017年、このブログ(WordPress(Amazon EC2 + RDS))で対応してきたこと

Amazon Web Services Advent Calendar 2017 …

: ブログの画像を別アカウントのS3に移動するためにIAMロールでクロスアカウントアクセス

ずっと先延ばしにしていたのですが、このブログの画像はEC2から直接配信しています …

: AWSアカウントルートユーザーのMFAでYubicoセキュリティキーを設定した

先日Yubico セキュリティキーを購入して、USBにささなければならないのがな …

: AWSアカウント内のすべてのS3バケットを削除するLambda(Python)

目次やりたいことバケット内のオブジェクト全削除バケットの削除やりたいこと特 …

PREV: pyenv update で「pyenv: no such command `update’ 」
NEXT: AWS Well-Architected フレームワークによるクラウドベストプラクティスのセッションを聞いたので自アカウントの環境を確認してみる

AWS Step Functions まずはパラレルでLambdaを並列実行してみました

試すこと

Step Functionsの設定

最初のLambdaの設定

並列で実行するLambdaの設定

終了処理

コード

余談嵌ったエラー

ad

ad

関連記事

Developers Summit 2018 「AWSのフルマネージドな環境でCI/CDをやってみよう！AWS Cloud9からAWS Fargateへの継続的デプロイをご紹介」を聞きました

PyCharmにAWS CloudFormationプラグインをインストールして入力補完してみる

NGINXで500と502のエラーが実は頻発していたらしい

Amazon Aurora Serverless 課金確認

Amazon LinuxにAlfresco Community Editionをインストールする

AWS Expert Online at JAWS-UG首都圏エリアに参加して「Amazon EC2 スポットインスタンス再入門」を聞いてきた

2017年、このブログ(WordPress(Amazon EC2 + RDS))で対応してきたこと

ブログの画像を別アカウントのS3に移動するためにIAMロールでクロスアカウントアクセス

AWSアカウントルートユーザーのMFAでYubicoセキュリティキーを設定した

AWSアカウント内のすべてのS3バケットを削除するLambda(Python)

AWS Step Functions まずはパラレルでLambdaを並列実行してみました

試すこと

Step Functionsの設定

最初のLambdaの設定

並列で実行するLambdaの設定

終了処理

コード

余談 嵌ったエラー

ad

ad

関連記事

余談嵌ったエラー