ヤマムギ

growing hard days.

*

AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した

   


ちょっと試してみたくてやってみました。

手順はこちらのチュートリアルを参考にすすめました。
DynamoDB からのデータのエクスポート

AWS Data Pipelineの設定

[Get Started]からはじめました。

Name,Discriptionを任意に設定します。
SourceでBuild using a templateを選択して、[Export DyanmoDB table to S3]を選択しました。

DynamoDB tableの名前を直接入力しました。
S3のバケット名は選択できました。
DynamoDBのリージョンは直接入力でした。

今すぐ実行したかったので、[on pipeline activation]を選択しました。
[on a schedule]でスケジュール実行もできます。

Loggingは有効にして、IAM rolesはチュートリアルにならって、Defaultにしました。

[Edit in Architect]をクリックしました。

チュートリアルにならって、ActivitiesにOn Success, On Fail, On Lateのアクションを追加しました。

Othersで、先ほど追加したイベントアクションに、SNSトピックを設定していきます。
IAM Roleはあらかじめ用意されている、DataPipelineDefaultRoleを使用しました。

[Save]で保存すると、
「ERROR: Either onLateAction and lateAfterTimeout both should be present or neither」
とエラーです。

ActivitiesにLate After Timeoutがありましたのでそこで10秒追加してみました。

次は「ERROR: ‘lateAfterTimeout’ can’t be less than 15 MINUTES」
と出ました。

15分以上が必要なようです。
Late After Timeoutを15分にしました。

無事保存できましたので、そのまま[Activate]をクリックしました。

AWS Data Pipelineの実行

処理が開始されました。

データを移行するEC2が起動しました。
m3.xlargeが2インスタンス起動しています。

S3に3つのオブジェクトができました。
ダウンロードして見てみます。

DynamoDBテーブルのアイテムが書き出されています。

SNSトピックによるメールも届いています。

Data PipelineのステータスもFINISHEDになりました。

EC2も終了されています。

ちなみにData Pipelineに設定したタグがEC2にも反映されていました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

i

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

 - AWS ,

ad

ad

  関連記事

S3バケットにWebフォントをアップロードしてCORSを設定する

Webフォントファイルは、モジワク研究さんのマメロンを使用させていただきました。 …

AWS Lambda(Python3)でSelenium + Chrome Headless + でwebスクレイピングする

インターネット上に公開されている情報をDynamoDBにつっこみたいだけなので、 …

T3.nanoで仮想メモリ割当をユーザーデータで実行する

T3.nanoはメモリがだいたい500MBです。 実行する処理によってはメモリエ …

Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる

MySQLのデータの可視化にAmazon Elasticsearch Servi …

JAWS-UG関西IoT専門支部 ✕ SORACOM UG 関西「Wio LTE + 絶対圧センサーで遊ぼう!」ワークショップにいってきた

JAWS-UG関西IoT専門支部 ✕ SORACOM UG 関西「Wio LTE …

AWS Backupで取得したAMIとスナップショットの削除

個人で使っているAWSリソースの断捨離をしてました。 Cloud9も複数アカウン …

Amazon LinuxのNginx+RDS MySQLにレンタルWebサーバーからWordPressを移設する(失敗、手戻りそのまま記載版)

勉強のためブログサイトを長らくお世話になったロリポップさんから、AWSに移設する …

静的と動的って何ですか?と営業さんに聞かれたので端的に説明してみました

AWS認定クラウドプラクティショナーの勉強をしている営業さんに、「S3で静的オブ …

AWS CodeStarで静的webサイトのテンプレートプロジェクトを作成する

執筆環境の検討中です。 CodeCommitは使うつもりで、コミットしたときにE …

API Gatewayで顧客レベルの使用量プランを設定する

API GatewayのAPIキーを使って使用量プランでのスロットリングも設定し …