ヤマムギ

growing hard days.

*

AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した

   


ちょっと試してみたくてやってみました。

手順はこちらのチュートリアルを参考にすすめました。
DynamoDB からのデータのエクスポート

AWS Data Pipelineの設定

[Get Started]からはじめました。

Name,Discriptionを任意に設定します。
SourceでBuild using a templateを選択して、[Export DyanmoDB table to S3]を選択しました。

DynamoDB tableの名前を直接入力しました。
S3のバケット名は選択できました。
DynamoDBのリージョンは直接入力でした。

今すぐ実行したかったので、[on pipeline activation]を選択しました。
[on a schedule]でスケジュール実行もできます。

Loggingは有効にして、IAM rolesはチュートリアルにならって、Defaultにしました。

[Edit in Architect]をクリックしました。

チュートリアルにならって、ActivitiesにOn Success, On Fail, On Lateのアクションを追加しました。

Othersで、先ほど追加したイベントアクションに、SNSトピックを設定していきます。
IAM Roleはあらかじめ用意されている、DataPipelineDefaultRoleを使用しました。

[Save]で保存すると、
「ERROR: Either onLateAction and lateAfterTimeout both should be present or neither」
とエラーです。

ActivitiesにLate After Timeoutがありましたのでそこで10秒追加してみました。

次は「ERROR: ‘lateAfterTimeout’ can’t be less than 15 MINUTES」
と出ました。

15分以上が必要なようです。
Late After Timeoutを15分にしました。

無事保存できましたので、そのまま[Activate]をクリックしました。

AWS Data Pipelineの実行

処理が開始されました。

データを移行するEC2が起動しました。
m3.xlargeが2インスタンス起動しています。

S3に3つのオブジェクトができました。
ダウンロードして見てみます。

DynamoDBテーブルのアイテムが書き出されています。

SNSトピックによるメールも届いています。

Data PipelineのステータスもFINISHEDになりました。

EC2も終了されています。

ちなみにData Pipelineに設定したタグがEC2にも反映されていました。


最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

 - AWS ,

ad

ad

  関連記事

Amazon EC2のAMIイメージを自動取得して保持日数が過ぎたら削除

画像の保存をEC2に戻した事もあってEC2のバックアップの自動取得を勉強がてらや …

AWS Lambdaで「Process exited before completing request」

AWS lambdaで「Process exited before comple …

[事前準備] JAWS-UG 関西IoT専門支部「マクニカkibo + AWS IoTハンズオン」

来る12/19(土)の JAWS-UG 関西IoT専門支部第一回勉強会「マクニカ …

Amazon Rekognitionでイベント参加者の顔写真を解析して似ている人ランキングをその場で作る

2017/9/21に開催されたAWS Cloud Roadshow 2017 大 …

webフォームからの問い合わせをRedmineに自動登録して対応状況を管理する(API Gateway + Lambda)

先日、検証目的で作成したRedmineの冗長化の一機能として、webフォームから …

AWS Summit 2016 Tokyoに参加してきました (Day2)

馬込は非常に良い天気です。 泊まっている部屋が2Fでしたので窓を明けると歩いてい …

百聞は一見にしかず!AWSセルフペースラボの無料ラボ!

※2019年5月12日現在に試してみた記録です。 目次 AWSセルフペースラボと …

Backlogの実績工数をAmazon QuickSightで可視化してわかったこと

今年に入ってから、Backlogで個人タスクを登録しだして、予定工数、実績工数を …

5分でAlexaスキルを作る

「JAWS-UG Osaka 第22回勉強会 東西の中の人が語る!!! Micr …

T3.nanoで仮想メモリ割当をユーザーデータで実行する

T3.nanoはメモリがだいたい500MBです。 実行する処理によってはメモリエ …