AWS Data Pipelineを使ってDynamoDBのアイテムを全件S3バケットに書き出した
ちょっと試してみたくてやってみました。
手順はこちらのチュートリアルを参考にすすめました。
DynamoDB からのデータのエクスポート
AWS Data Pipelineの設定
[Get Started]からはじめました。
Name,Discriptionを任意に設定します。
SourceでBuild using a templateを選択して、[Export DyanmoDB table to S3]を選択しました。
DynamoDB tableの名前を直接入力しました。
S3のバケット名は選択できました。
DynamoDBのリージョンは直接入力でした。
今すぐ実行したかったので、[on pipeline activation]を選択しました。
[on a schedule]でスケジュール実行もできます。
Loggingは有効にして、IAM rolesはチュートリアルにならって、Defaultにしました。
[Edit in Architect]をクリックしました。
チュートリアルにならって、ActivitiesにOn Success, On Fail, On Lateのアクションを追加しました。
Othersで、先ほど追加したイベントアクションに、SNSトピックを設定していきます。
IAM Roleはあらかじめ用意されている、DataPipelineDefaultRoleを使用しました。
[Save]で保存すると、
「ERROR: Either onLateAction and lateAfterTimeout both should be present or neither」
とエラーです。
ActivitiesにLate After Timeoutがありましたのでそこで10秒追加してみました。
次は「ERROR: ‘lateAfterTimeout’ can’t be less than 15 MINUTES」
と出ました。
15分以上が必要なようです。
Late After Timeoutを15分にしました。
無事保存できましたので、そのまま[Activate]をクリックしました。
AWS Data Pipelineの実行
処理が開始されました。
データを移行するEC2が起動しました。
m3.xlargeが2インスタンス起動しています。
S3に3つのオブジェクトができました。
ダウンロードして見てみます。
DynamoDBテーブルのアイテムが書き出されています。
SNSトピックによるメールも届いています。
Data PipelineのステータスもFINISHEDになりました。
EC2も終了されています。
ちなみにData Pipelineに設定したタグがEC2にも反映されていました。
最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。
【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター3年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
Rocket.ChatにAWS Lambda(Python)から投稿する
Rocket.ChatにAPIで投稿するテスト(Postman)をやってみて、使 …
-
-
slackのbotをAWS Lambda(Python)+API Gatewayで構築
slackで投稿した内容に応じて返信したり調べ物したりしてくれるbotですが、こ …
-
-
CUSTOMINEを使ってkintoneからAWS Lambdaを実行する(Cognito認証付き)
先日の記事「kintoneのカスタマイズ開発を超速にするCUSTOMINE」で書 …
-
-
EC2 Ubuntu DesktopにRDP
Ubuntu Desktopが必要になりましたので、こちらのAWS EC2でデス …
-
-
RDSスナップショットをS3にエクスポートする新機能を試そうかと思った
やったこと RDSスナップショットをS3にエクスポートできる、という新機能が追加 …
-
-
[事前準備] JAWS-UG 関西IoT専門支部「マクニカkibo + AWS IoTハンズオン」
来る12/19(土)の JAWS-UG 関西IoT専門支部第一回勉強会「マクニカ …
-
-
RDS + VPC + Lambda + API Gateway + CloudFront + WAF + ACMでAPIを構築する
RDSのMySQLの情報を与えられたリクエストをキーにしてjsonで返すAPIを …
-
-
DynamoDB IAMポリシーで特定項目だけを許可する
検証記録です。 対象テーブル 書籍のサンプルで作ったこちらです。 所属バンドの楽 …
-
-
AWS EC2 インスタンスステータスのチェックで失敗 原因はPHP-FPMのOOM-KILLER
先週に引き続きEC2のインスタンスステータスチェックで失敗 再起動するも失敗する …
-
-
EC2インスタンスが到達不能になって復旧してMackerelで監視し始めた
きっとばりばり使っておられる方ならよくある事なんだろうけど、はじめて体験したので …