Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する
2021/08/12
Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索するで検索した結果をKinesis Data FirehoseからS3バケットに保存します。
目次
S3バケットの作成
バケット名だけ入力してFirehoseと同じリージョンに作成しました。
Kinesis Data Firehoseの作成
名前を入力しました。
データをLambdaで加工したり、Glueで変換できるようです。
今回はひとまず保存するだけなのでなしで設定します。
送信先でS3バケットを指定しました。
プレフィックスもこの画面で設定できました。
プレフィックスを指定しなければFirehoseが自動でYYYY/MM/DD/hhをつけてくれるようです。
指定なしにしました。
バッファの設定では、容量、時間の両方を最小値にしました。
これで、レコードが1MBになるか、60秒経過するかのどちらかかで、S3に送信されます。
作成できました。
Firehoseが使うIAMロールも自動で作成されていました。
Kinesis Data Analyticsから送信先の設定
送信先を作成します。
FirehoseとAnalyticsのストリームを選択しました。
結果を確認
Analyticsの確認時同様にLambdaを実行して確認してみました。
S3バケットにオブジェクトが作成されました。
マネジメントコンソールからオブジェクトアクションのS3 Selectで確認すると、抽出されたツイートが格納されていることが確認できました。
最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。
【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。
【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。
【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター3年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
特定AWSアカウント特定リージョンのCloud9環境を削除するLambda(Python)
やりたいこと 特定アカウント内特定リージョン内のCloud9環境を全部削除したい …
-
-
Lucidchart AWSアカウントからインポート機能で自動作図
SNSでLucidchartというサービスが話題になってました。 AWSの環境を …
-
-
AWS Transit Gatewayピアリング接続確認
AWS Transit Gatewayのピアリング接続を使用して、異なるリージョ …
-
-
AWS DeepLensセットアップの儀
AWS DeepLensのセットアップを開始します。 AWS DeepLensを …
-
-
slackのbotをAWS Lambda(Python)+API Gatewayで構築
slackで投稿した内容に応じて返信したり調べ物したりしてくれるbotですが、こ …
-
-
新しいVPCウィザード(2022年)がすんごく便利になってました
VPCウィザードがすんごく便利になってました。 ウィザードの左ペインで設定を選択 …
-
-
API Gatewayから直接 DynamoDBに書き込む
やりたいこと WebページでOやXを押したときに、どっちを押したかをDynamo …
-
-
RedmineをELB(ALB)でAutoScalingグループへ負荷分散
高可用なRedmineを作るためのELBの設定です。 高可用なRedmine R …
-
-
EC2 Image BuilderでRocket.ChatのAMIを作って起動テンプレートを更新しました
EC2 Image Builderの練習をしようと思い、Rocket.Chatの …
-
-
このブログをAWS大阪リージョンへ移行しました
大阪リージョン爆誕!! 朝起きて寝ぼけながらリージョンを見てると。 「大阪リージ …