ヤマムギ

growing hard days.

*

AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した

   


ちょっと試してみたくてやってみました。

手順はこちらのチュートリアルを参考にすすめました。
DynamoDB からのデータのエクスポート

AWS Data Pipelineの設定

[Get Started]からはじめました。

Name,Discriptionを任意に設定します。
SourceでBuild using a templateを選択して、[Export DyanmoDB table to S3]を選択しました。

DynamoDB tableの名前を直接入力しました。
S3のバケット名は選択できました。
DynamoDBのリージョンは直接入力でした。

今すぐ実行したかったので、[on pipeline activation]を選択しました。
[on a schedule]でスケジュール実行もできます。

Loggingは有効にして、IAM rolesはチュートリアルにならって、Defaultにしました。

[Edit in Architect]をクリックしました。

チュートリアルにならって、ActivitiesにOn Success, On Fail, On Lateのアクションを追加しました。

Othersで、先ほど追加したイベントアクションに、SNSトピックを設定していきます。
IAM Roleはあらかじめ用意されている、DataPipelineDefaultRoleを使用しました。

[Save]で保存すると、
「ERROR: Either onLateAction and lateAfterTimeout both should be present or neither」
とエラーです。

ActivitiesにLate After Timeoutがありましたのでそこで10秒追加してみました。

次は「ERROR: ‘lateAfterTimeout’ can’t be less than 15 MINUTES」
と出ました。

15分以上が必要なようです。
Late After Timeoutを15分にしました。

無事保存できましたので、そのまま[Activate]をクリックしました。

AWS Data Pipelineの実行

処理が開始されました。

データを移行するEC2が起動しました。
m3.xlargeが2インスタンス起動しています。

S3に3つのオブジェクトができました。
ダウンロードして見てみます。

DynamoDBテーブルのアイテムが書き出されています。

SNSトピックによるメールも届いています。

Data PipelineのステータスもFINISHEDになりました。

EC2も終了されています。

ちなみにData Pipelineに設定したタグがEC2にも反映されていました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS ,

ad

ad

  関連記事

Rocket.ChatにAWS Lambda(Python)から投稿する

Rocket.ChatにAPIで投稿するテスト(Postman)をやってみて、使 …

slackのbotをAWS Lambda(Python)+API Gatewayで構築

slackで投稿した内容に応じて返信したり調べ物したりしてくれるbotですが、こ …

CUSTOMINEを使ってkintoneからAWS Lambdaを実行する(Cognito認証付き)

先日の記事「kintoneのカスタマイズ開発を超速にするCUSTOMINE」で書 …

EC2 Ubuntu DesktopにRDP

Ubuntu Desktopが必要になりましたので、こちらのAWS EC2でデス …

RDSスナップショットをS3にエクスポートする新機能を試そうかと思った

やったこと RDSスナップショットをS3にエクスポートできる、という新機能が追加 …

[事前準備] JAWS-UG 関西IoT専門支部「マクニカkibo + AWS IoTハンズオン」

来る12/19(土)の JAWS-UG 関西IoT専門支部第一回勉強会「マクニカ …

RDS + VPC + Lambda + API Gateway + CloudFront + WAF + ACMでAPIを構築する

RDSのMySQLの情報を与えられたリクエストをキーにしてjsonで返すAPIを …

DynamoDB IAMポリシーで特定項目だけを許可する

検証記録です。 対象テーブル 書籍のサンプルで作ったこちらです。 所属バンドの楽 …

AWS EC2 インスタンスステータスのチェックで失敗 原因はPHP-FPMのOOM-KILLER

先週に引き続きEC2のインスタンスステータスチェックで失敗 再起動するも失敗する …

EC2インスタンスが到達不能になって復旧してMackerelで監視し始めた

きっとばりばり使っておられる方ならよくある事なんだろうけど、はじめて体験したので …