AWS BatchでPandocコンテナイメージを実行する

2019/05/03

「ECR(Amazon Elastic Container Registry)にコンテナイメージをアップロードする」でアップロードしたPandocのコンテナイメージを使用してAWS Batchで実行したいと思います。

最終的にはS3にアップロードされたマークダウンからEPUB3への変換を自動化したいと思います。
とりあえず今日はBatchを使って実行できることやコマンドの構成をどのようにしないといけないかを確認します。

AWS Batchユーザーガイドを確認しながら進めます。

AWS Batchで実行するにあたって

まずはこちらの「AWS Batchを使って5分以上かかる処理を実行してみる」が一番うやりたいこに近かったので読みました。

コンテナの中にはgit cloneしてダウンロードしたシェルを実行するシェルを用意しておけば、コードは外部でメンテナンスできます。
ブートストラップのような構成ができそうです。

「Pandocサーバーのコンテナイメージを作成する」で作ったコンテナにシェルを仕込みます。
そのためのAWS CodeCommitの環境も作らないとです。

AWS CodeCommitの設定

[リポジトリの作成]からリポジトリを作成しました。

接続方法は以前と変わってなさそうですので、「AWS Code Commitをプライベートリポジトリとして使う」をご参照いただければ幸いです。

run.shというファイルを作成してコミットしてプッシュしておきました。

S3バケットからinput.mdをダウンロードして、pandocでEPUBに変換してS3バケットにアップロードするだけのテストスクリプトです。

#!/bin/bash

echo 'download start'
aws s3 cp s3://bucket_name/input/input.md /tmp/input.md

echo 'pandoc start'
pandoc -f markdown /tmp/input.md -o /tmp/output.epub

echo 'upload start'
aws s3 cp /tmp/output.epub s3://bucket_name/output/output.epub

echo 'finish!!'

#!/bin/bash

echo 'download start'

aws s3 cp s3://bucket_name/input/input.md /tmp/input.md

echo 'pandoc start'

pandoc -f markdown /tmp/input.md -o /tmp/output.epub

echo 'upload start'

aws s3 cp /tmp/output.epub s3://bucket_name/output/output.epub

echo 'finish!!'

コンテナイメージへの追加設定

MacのDockerで作業してます。

$ docker run -v /Users/xxx/Documents/docker/pandoc:/tmp -it pandoc /bin/bash

1 2	$ docker run -v /Users/xxx/Documents/docker/pandoc:/tmp -it pandoc /bin/bash

コンテナを起動してターミナルに入ります。
今回のテストでは、AWS CLIとシェルスクリプトのみを使いますが、最終的にはPythonを使うことになりそうなので環境を作っておきます。
イメージのOSがAmazon Linux2だったのですが、すでにPython2.7は入っていました。

# yum install -y python3
# pip3 install awscli
# pip3 install boto3
# yum install -y git
# yum install -y vim
# mkdir /usr/local/pandoc
# vim /usr/local/init.sh

# yum install -y python3

# pip3 install awscli

# pip3 install boto3

# yum install -y git

# yum install -y vim

# mkdir /usr/local/pandoc

# vim /usr/local/init.sh

/usr/local/init.sh

#!/bin/bash

echo 'init start'
CODE_REPO=https://git-codecommit.us-east-1.amazonaws.com/v1/repos/repos_name

echo 'clone start'
git clone --config credential.helper='!aws --region us-east-1 codecommit credential-helper $@' --config credential.UseHttpPath=true $CODE_REPO /usr/local/pandoc

echo 'run exe'
sh /usr/local/pandoc/run.sh

#!/bin/bash

echo 'init start'

CODE_REPO=https://git-codecommit.us-east-1.amazonaws.com/v1/repos/repos_name

echo 'clone start'

git clone --config credential.helper='!aws --region us-east-1 codecommit credential-helper $@' --config credential.UseHttpPath=true $CODE_REPO /usr/local/pandoc

echo 'run exe'

sh /usr/local/pandoc/run.sh

このシェルスクリプトも「AWS Batchを使って5分以上かかる処理を実行してみる」を参考に、というかほぼそのままです。
IAMロールでAWS CodeCommitにgitコマンド実行できるのって、セキュアですっごくいいですね。

# exit

# exit

コンテナを抜けてローカルへ戻りました。

$ docker ps -a
38e10a07f143        pandoc              "/bin/bash"         19 seconds ago      Exited (0) 4 seconds ago                       compassionate_wilson
$ docker commit 38e10a07f143 pandoc

$ docker ps -a

38e10a07f143 pandoc "/bin/bash" 19 seconds ago Exited (0) 4 seconds ago compassionate_wilson

$ docker commit 38e10a07f143 pandoc

docker ps コマンドで設定したコンテナのIDを確認して、docker commitコマンドでイメージのアップデートをしました。

そして、「ECR(Amazon Elastic Container Registry)にコンテナイメージをアップロードする」の手順でECRのイメージを上書きしました。

AWS Batchの設定

[今すぐ始める]ボタンから初回実行ウィザードを起動しました。

すべてをデフォルトでとりあえず設定しました。
作成するとジョブが送信されてEC2インスタンスが起動していたので終了しました。

AWS Batchで作成されたジョブ定義、ジョブキュー、コンピューティング環境は削除しました。

IAMの設定

2つのIAMロールが出来ているのでこちらを使います。
* AWSBatchServiceRole
* ecsInstanceRole

AWSBatchServiceRoleはそのまま使いました。
ecsInstanceRoleには、CodeCommitの該当のリポジトリと、対象のS3バケットへの権限を追加しました。

あとスポットインスタンスを使いたいので、Amazon EC2 スポットフリートロールの手順で、AmazonEC2SpotFleetRoleを作成しました。

VPC

今回の環境用にVPCを作成しました。
S3にアクセスするのでインターネットゲートウェイをアタッチして、全AZにパブリックサブネットを作成しました。
セキュリティグループは1つ作成し、インバウンドは拒否、アウトバウンドは許可、のデフォルトのままにしました。
サブネットは作成後に[アクション]-[自動割り当てIP設定の変更]をONにしておきました。
そうしないと、今回の構成ではVPC内で起動してきたコンテナがS3やCloudWatch、CodeCommitにアクセスできないです。