growing hard days.

Amazon CloudSearchにAWS Lambda(Python)からデータをアップロードする

2018/12/16

このブログはゆるっとアドベントカレンダー Advent Calendar 2018に参加しました。

Alexaスキルを作るにあたって全文検索できたほうがいいかなあと思いまして、実装してみました。
でも、全文検索だと戻る量が多くなってしまうので、DyanmoDBのソートキーを使って前方一致のほうが望ましいかと思い直しているところです。

せっかくやってみたので書き残しておきます。

構成はこちらの日次でCloudSearchにデータをアップロードしているところです。

目次

Amazon CloudSearch

ドメインを新規作成して、course_codeとcourse_nameという2つのフィールドを作りました。

AWS Lambda

IAMロールはもちろんCloudSearchへのアップロードが必要です。

import traceback, json, os, boto3
import logging.config

logger = logging.getLogger()
logger.setLevel(logging.INFO)

ENDPOINT = os.environ.get('ENDPOINT', '')


def lambda_handler(event, context):
    try:
        logger.info(event)
        domain = boto3.client(
            'cloudsearchdomain',
            endpoint_url=ENDPOINT
        )
        documents = []
        for record in event['Records']:
            if record['eventName'] == 'REMOVE':
                continue

            course_code = record['dynamodb']['NewImage']['course_code']['S']
            course_name = record['dynamodb']['NewImage']['course_name']['S']

            document = {
                'type': 'add',
                'id': course_code,
                'fields': {
                    'course_code': course_code,
                    'course_name': course_name
                }
            }

            documents.append(document)

        if len(documents) == 0:
            return

        response = domain.upload_documents(
            documents=json.dumps(documents),
            contentType='application/json'
        )

        logger.info(response)

    except:
        raise Exception(traceback.format_exc())

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

import traceback, json, os, boto3

import logging.config

logger = logging.getLogger()

logger.setLevel(logging.INFO)

ENDPOINT = os.environ.get('ENDPOINT', '')

def lambda_handler(event, context):

try:

logger.info(event)

domain = boto3.client(

'cloudsearchdomain',

endpoint_url=ENDPOINT

)

documents = []

for record in event['Records']:

if record['eventName'] == 'REMOVE':

continue

course_code = record['dynamodb']['NewImage']['course_code']['S']

course_name = record['dynamodb']['NewImage']['course_name']['S']

document = {

'type': 'add',

'id': course_code,

'fields': {

'course_code': course_code,

'course_name': course_name

}

}

documents.append(document)

if len(documents) == 0:

return

response = domain.upload_documents(

documents=json.dumps(documents),

contentType='application/json'

)

logger.info(response)

except:

raise Exception(traceback.format_exc())

CloudSearchドメインのエンドポイントは環境変数に設定しています。
トリガーはDyanmoDBで新規のアイテムのみを対象にしています。
boto3.clientはcloudsearchdomainです。
documentsでCloudSearchへの操作をJsonで新規アイテムの数だけ配列にしています。
upload_documentsでcontentTypeを’application/json’にしてます。

これで、データが追加されて、全文検索できました！！

最後までお読みいただきましてありがとうございました！

【PR】「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】「ポケットスタディ AWS認定デベロッパーアソシエイト」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター3年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, lambda, python

Tweet

関連記事

: AWS Storage Gateway File Gateway on EC2インスタンスにmacOSからNFS接続

S3バケットの作成 S3バケットはあらかじめ作成しておきました。マネジメントコ …

: AWS Lambda(Python)からTwitterに投稿する

「GoogleフォームからAPI Gatewayで作成したREST APIにPO …

: AWS CloudWatch LogsエージェントでAmazon EC2上のNginxのaccess.log , error.log , php-fpm error.log , Linuxのmessages , secureログを収集する

参考ページクイックスタート: 実行中の EC2 インスタンスに CloudWa …

: AWS EC2 Amazon Linuxにmauticをインストールする(Sendgrid, Nginx, MySQL on RDS)

mauticをAmazon LinuxとNginx,MySQL on RDSにイ …

: T3.nanoで仮想メモリ割当をユーザーデータで実行する

T3.nanoはメモリがだいたい500MBです。実行する処理によってはメモリエ …

: slackのbotにWikipediaを調べてもらう(Python on AWS Lambda + API Gateway)

slackのbotに少しでも役に立ってもらおうと、Wikipediaを調べてもら …

: ブラウザからJavaScript SDKを使ってAmazon S3 への写真のアップロードチュートリアルをやってみました

ブラウザから Amazon S3 への写真のアップロードをやってみました。 HT …

: AtomエディタでEC2のファイルを直接編集する

Webページを編集していてEC2のファイルをvimエディタでさわったりしています …

: AWS Organizationsで組織全体のAWS CloudTrailを有効にしました

Organizationsのサービスメニューから、CloudTrailを選択して …

: IAMアクセス許可の境界でIAMロールの権限を制御する

IAMユーザー自身の権限はIAMポリシーで制御できますが、IAMユーザーにIAM …

PREV: ゼロからはじめるAlexaスキル開発(Alexa Dev Summit Tokyo 2018)に参加しました
NEXT: 持ち帰って欲しいもの

NEW POST

: ヤマムギvol.27 Amazon Route 53プライベートホストゾーンとリゾルバーのデモをしました

今日は『AWS認定資格試験テキスト&問題集AWS認定ソリューションアーキ …

: Azure ADテナントを作成してカスタムドメインと管理者の設定

新規に作ったアカウントではAzure ADの無料テナントがどうしても作成できなか …

: GarageBandでコーラスの録音にTASCAMコンデンサーマイクロホンTM-80を使用した

GarageBandでコーラス録音するマイクに、TASCAMコンデンサーマイクロ …

: AWS KMSのキーポリシーとアイデンティティベースポリシー

AWS KMSのCMKを作成する際に、管理者とキーユーザーを選択することで、以下 …

: GarageBandでのレコーディングにTASCAM オーディオ/MIDIインターフェース iXRを使うときのケーブル

iPad ProとiXRを使っている理由 GarageBand、リモートレコーデ …

配信ライブカレンダー

[PR] AWS認定試験対策 AWS クラウドプラクティショナー

[PR] AWSではじめるLinux入門ガイド

[PR] ポケットスタディ AWS認定デベロッパー – アソシエイト

タグ
alexa alexaday2019 api apigateway AWS CentOS cloud9 cloudformation cloudwatch devsumi2018 dynamodb EC2 google iam iot iphone Java jaws jaws-ug kintone lambda Linux m1mac mac mac-mini Markdown mint MySQL organizations PHP python RDS re:dash Redmine remote s3 Silver sns ssm Twilio vpc windows WordPress yamamugi 勉強会

アーカイブ
アーカイブ

AMAZONアソシエイト

「Amazon.co.jpアソシエイト」または「ヤマムギ」は、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。