AWS Lambda(Python3.7)でPandocを実行する

2019/05/04 2019/05/04

昨日まで(AWS Batch)

昨日までは、Pandocを実行して、S3バケットにアップロードされたマークダウンをEPUBに変換するのに、AWS Batchを使おうと想ってました。

構成はこのような構成で、以下のブログに検証結果を書き残しました。

今日から(AWS Lambda)

もともとAWS Lambdaでやりたかったのですが、Node.jsの手順はこちらのHOW TO RUN PANDOC IN AWS LAMBDAにあるのですが、Pythonでやるために調べるのが面倒だなあと思ってまして。。。。。

serverlesspub/pandoc-aws-lambda-binaryのReadmeを改めて読んでると、Lambda Layersでarn:aws:lambda:us-east-1:145266761615:layer:pandoc:1を直接指定したら使えるよ、と。
ソースにあるCloudFormationのテンプレートを見るとランタイムにPythonも入っているから大丈夫そうだなと。

ここで「ん？」と思って調べたのですが、Layerへのアクセス権はCLIで設定するようです。
aws lambda add-layer-version-permissionで設定できるようです。

アクセス許可されていないLayerのarnを指定してみたら、次のような表示になってちゃんと拒否されました。

ARNを指定してLayerを追加してPandocを試してみる

Lambda関数にレイヤーを追加するときに「レイヤーバージョンARNを提供」を選択して追加しました。
LambdaのIAMロールは「AWSLambdaExecute」をアタッチしたロールを設定しました。
ランタイムはPython3.7です。

テストしたコードは下記です。

import json, subprocess, boto3

def lambda_handler(event, context):
    args = ['ls', '/opt']
    response = subprocess.check_output(args)
    print(response)
    args = ['ls', '/opt/bin']
    response = subprocess.check_output(args)
    print(response)
    args = ['/opt/bin/pandoc', '--version']
    response = subprocess.check_output(args)
    print(response)

import json, subprocess, boto3

def lambda_handler(event, context):

args = ['ls', '/opt']

response = subprocess.check_output(args)

print(response)

args = ['ls', '/opt/bin']

response = subprocess.check_output(args)

print(response)

args = ['/opt/bin/pandoc', '--version']

response = subprocess.check_output(args)

print(response)

LayerはLambdaのoptディレクトリに展開されるので、lsコマンドで内容を確認してみてます。
arn提供元のReadmeに書いてたとおり、bin/pandocの構成になっているはずなのでとりあえずバージョンを確認してみます。

出力は以下でした。

b'bin\n'
b'pandoc\n'
b'pandoc 2.2.1\nCompiled with pandoc-types 1.17.4.2, texmath 0.11.0.1, skylighting 0.7.1\nDefault user data directory: \nCopyright (C) 2006-2018 John MacFarlane\nWeb:  http://pandoc.org\nThis is free software; see the source for copying conditions.\nThere is no warranty, not even for merchantability or fitness\nfor a particular purpose.\n'

b'bin\n'

b'pandoc\n'

b'pandoc 2.2.1\nCompiled with pandoc-types 1.17.4.2, texmath 0.11.0.1, skylighting 0.7.1\nDefault user data directory: \nCopyright (C) 2006-2018 John MacFarlane\nWeb: http://pandoc.org\nThis is free software; see the source for copying conditions.\nThere is no warranty, not even for merchantability or fitness\nfor a particular purpose.\n'

予定どおりです。
Pythonでも問題なくPandocが動きそうです。

自アカウントのLayerで構築する

でも提供元のLayerがなくなったらその時点で終わりです。
なのでやっぱり自前のLayerが欲しいです。
調べれば作ることはできそうです。
でもたった今動きが確認できたものが、Lambdaのoptディレクトリ以下にあります。

せっかくなので、LambdaからPandoc実行ファイルをS3バケットへアップロードして、それをローカルへダウンロードしてbinディレクトリを作ってzipにしました。
これをLayerにアップロードして自前のLayer完成です。
提供元の方、ありがとうございます！

PandocでマークダウンからEPUBに変換してみる。

次のコードでテストしてみました。

import subprocess, boto3

def lambda_handler(event, context):
    s3 = boto3.resource('s3')

    s3.meta.client.download_file(
        'bucket',
        'input/input.md',
        '/tmp/input.md'
    )

    args = [
        '/opt/bin/pandoc',
        '-f',
        'markdown',
        '/tmp/input.md',
        '-o',
        '/tmp/output.epub'
    ]

    response = subprocess.check_output(args)

    s3.meta.client.upload_file(
        '/tmp/output.epub',
        'bucket',
        '/output/output.epub'
    )