ヤマムギ

growing hard days.

*

AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した

   


ちょっと試してみたくてやってみました。

手順はこちらのチュートリアルを参考にすすめました。
DynamoDB からのデータのエクスポート

AWS Data Pipelineの設定

[Get Started]からはじめました。

Name,Discriptionを任意に設定します。
SourceでBuild using a templateを選択して、[Export DyanmoDB table to S3]を選択しました。

DynamoDB tableの名前を直接入力しました。
S3のバケット名は選択できました。
DynamoDBのリージョンは直接入力でした。

今すぐ実行したかったので、[on pipeline activation]を選択しました。
[on a schedule]でスケジュール実行もできます。

Loggingは有効にして、IAM rolesはチュートリアルにならって、Defaultにしました。

[Edit in Architect]をクリックしました。

チュートリアルにならって、ActivitiesにOn Success, On Fail, On Lateのアクションを追加しました。

Othersで、先ほど追加したイベントアクションに、SNSトピックを設定していきます。
IAM Roleはあらかじめ用意されている、DataPipelineDefaultRoleを使用しました。

[Save]で保存すると、
「ERROR: Either onLateAction and lateAfterTimeout both should be present or neither」
とエラーです。

ActivitiesにLate After Timeoutがありましたのでそこで10秒追加してみました。

次は「ERROR: ‘lateAfterTimeout’ can’t be less than 15 MINUTES」
と出ました。

15分以上が必要なようです。
Late After Timeoutを15分にしました。

無事保存できましたので、そのまま[Activate]をクリックしました。

AWS Data Pipelineの実行

処理が開始されました。

データを移行するEC2が起動しました。
m3.xlargeが2インスタンス起動しています。

S3に3つのオブジェクトができました。
ダウンロードして見てみます。

DynamoDBテーブルのアイテムが書き出されています。

SNSトピックによるメールも届いています。

Data PipelineのステータスもFINISHEDになりました。

EC2も終了されています。

ちなみにData Pipelineに設定したタグがEC2にも反映されていました。


最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

 - AWS ,

ad

ad

  関連記事

ブログの画像を別アカウントのS3に移動するためにIAMロールでクロスアカウントアクセス

ずっと先延ばしにしていたのですが、このブログの画像はEC2から直接配信しています …

Amazon RDS MySQLでCSVをload data するときに「Access denied」発生

超小ネタです。 AWSのデータベースサービスの Amazon RDSのMySQL …

Amazon LinuxにRedmine をインストールする(手順整理版)

Amazon LinuxにRedmineをインストールしました手順を記載します。 …

「JAWS-UG Osaka 第22回勉強会 東西の中の人が語る!!! Microservices × Serverless On AWS」で運営と懇親会LTをしてきました

「JAWS-UG Osaka 第22回勉強会 東西の中の人が語る!!! Micr …

AWS EC2 インスタンスステータスのチェックで失敗して起動しなくなり復旧

EC2のインスタンスに接続出来なくなったので、AMIから作成してElastic …

EC2のAMIとRDSのスナップショットを他のAWSアカウントに共有してブログサイトをAWSアカウント間で引っ越す

当ブログで使用しているEC2とRDSを環境の整理のため、他のAWSアカウントへ引 …

AWS Lambdaで「Process exited before completing request」

AWS lambdaで「Process exited before comple …

EC2にSystems MangerからCloudWatchエージェントをインストール

目次 CloudWatchエージェントIAMロールの作成EC2にSSMエージェン …

AWS EC2 Amazon Linux にEC-CUBE3をnginx+MySql環境へインストール(手順検証中)

目次 EC2インスタンスを作成する各パッケージのインストールEC-CUBEインス …

slackのbotにWikipediaを調べてもらう(Python on AWS Lambda + API Gateway)

slackのbotに少しでも役に立ってもらおうと、Wikipediaを調べてもら …