ヤマムギ

growing hard days.

*

AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した

   

ちょっと試してみたくてやってみました。

手順はこちらのチュートリアルを参考にすすめました。
DynamoDB からのデータのエクスポート

AWS Data Pipelineの設定

[Get Started]からはじめました。

Name,Discriptionを任意に設定します。
SourceでBuild using a templateを選択して、[Export DyanmoDB table to S3]を選択しました。

DynamoDB tableの名前を直接入力しました。
S3のバケット名は選択できました。
DynamoDBのリージョンは直接入力でした。

今すぐ実行したかったので、[on pipeline activation]を選択しました。
[on a schedule]でスケジュール実行もできます。

Loggingは有効にして、IAM rolesはチュートリアルにならって、Defaultにしました。

[Edit in Architect]をクリックしました。

チュートリアルにならって、ActivitiesにOn Success, On Fail, On Lateのアクションを追加しました。

Othersで、先ほど追加したイベントアクションに、SNSトピックを設定していきます。
IAM Roleはあらかじめ用意されている、DataPipelineDefaultRoleを使用しました。

[Save]で保存すると、
「ERROR: Either onLateAction and lateAfterTimeout both should be present or neither」
とエラーです。

ActivitiesにLate After Timeoutがありましたのでそこで10秒追加してみました。

次は「ERROR: ‘lateAfterTimeout’ can’t be less than 15 MINUTES」
と出ました。

15分以上が必要なようです。
Late After Timeoutを15分にしました。

無事保存できましたので、そのまま[Activate]をクリックしました。

AWS Data Pipelineの実行

処理が開始されました。

データを移行するEC2が起動しました。
m3.xlargeが2インスタンス起動しています。

S3に3つのオブジェクトができました。
ダウンロードして見てみます。

DynamoDBテーブルのアイテムが書き出されています。

SNSトピックによるメールも届いています。

Data PipelineのステータスもFINISHEDになりました。

EC2も終了されています。

ちなみにData Pipelineに設定したタグがEC2にも反映されていました。


最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS ,

ad

ad

  関連記事

AWS Organizations組織でCompute Optimizerを有効にしました

OrganizationsでCompute Optimizerの信頼されたアクセ …

リザーブドインスタンスはじめました

このブログも2014年9月にはじめたので、もうすぐ3年。 1件~17件とばらつき …

このブログをAWS大阪リージョンへ移行しました

大阪リージョン爆誕!! 朝起きて寝ぼけながらリージョンを見てると。 「大阪リージ …

Amazon EMR 「Hadoop を使用してビッグデータを分析」チュートリアルをやってみました

AWS認定データアナリティクス受験準備の一環で、Amazon EMRのチュートリ …

Active Directory認証でAWSマネジメントコンソールにSSO

こちらの2つのサイトを参考にすすめました。 Active Directory資産 …

PyCharmにAWS Tool kitをインストールしてサンプルのLambda関数をデプロイして実行しました

この記事はJetBrainsIDE Advent Calendar 2018に参 …

AWS Lambda(Python)からZoom投票作成

以前、Zoomの投票(アンケート)をAPI経由で作成するというブログで書きました …

Intel 82599 VF インターフェイスで拡張ネットワーキングが有効なEC2インスタンスで帯域幅を確認してみました

拡張ネットワーキングが有効なEC2インスタンスとそうではないインスタンスの2セッ …

Rocket.ChatをAmazon EC2 Ubuntuサーバーで起動

こちらRocket.Chatを1行でAWS上に導入を参照させていただきました。 …

kintoneで設定したスケジュールにあわせてlambda(python)からSQSへメッセージを送る

EC2の起動停止をそろそろ手動でやるのも疲れてきそうなのと、やはり停止するのを忘 …