ヤマムギ

growing hard days.

*

Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する

      2021/08/12

Delicious にシェア
このエントリーをはてなブックマークに追加
LinkedIn にシェア
LINEで送る

Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索するで検索した結果をKinesis Data FirehoseからS3バケットに保存します。

S3バケットの作成

バケット名だけ入力してFirehoseと同じリージョンに作成しました。

Kinesis Data Firehoseの作成

名前を入力しました。

データをLambdaで加工したり、Glueで変換できるようです。
今回はひとまず保存するだけなのでなしで設定します。

送信先でS3バケットを指定しました。
プレフィックスもこの画面で設定できました。
プレフィックスを指定しなければFirehoseが自動でYYYY/MM/DD/hhをつけてくれるようです。
指定なしにしました。

バッファの設定では、容量、時間の両方を最小値にしました。
これで、レコードが1MBになるか、60秒経過するかのどちらかかで、S3に送信されます。

作成できました。
Firehoseが使うIAMロールも自動で作成されていました。

Kinesis Data Analyticsから送信先の設定

送信先を作成します。

FirehoseとAnalyticsのストリームを選択しました。

結果を確認

Analyticsの確認時同様にLambdaを実行して確認してみました。

S3バケットにオブジェクトが作成されました。

マネジメントコンソールからオブジェクトアクションのS3 Selectで確認すると、抽出されたツイートが格納されていることが確認できました。

最後までお読みいただきましてありがとうございました！

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

【PR】 「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

特定AWSアカウント特定リージョンのCloud9環境を削除するLambda(Python)

やりたいこと 特定アカウント内特定リージョン内のCloud9環境を全部削除したい …

Lucidchart AWSアカウントからインポート機能で自動作図

SNSでLucidchartというサービスが話題になってました。 AWSの環境を …

AWS Transit Gatewayピアリング接続確認

AWS Transit Gatewayのピアリング接続を使用して、異なるリージョ …

AWS DeepLensセットアップの儀

AWS DeepLensのセットアップを開始します。 AWS DeepLensを …

slackのbotをAWS Lambda(Python)+API Gatewayで構築

slackで投稿した内容に応じて返信したり調べ物したりしてくれるbotですが、こ …

新しいVPCウィザード(2022年)がすんごく便利になってました

VPCウィザードがすんごく便利になってました。 ウィザードの左ペインで設定を選択 …

API Gatewayから直接 DynamoDBに書き込む

やりたいこと WebページでOやXを押したときに、どっちを押したかをDynamo …

RedmineをELB(ALB)でAutoScalingグループへ負荷分散

高可用なRedmineを作るためのELBの設定です。 高可用なRedmine R …

EC2 Image BuilderでRocket.ChatのAMIを作って起動テンプレートを更新しました

EC2 Image Builderの練習をしようと思い、Rocket.Chatの …

このブログをAWS大阪リージョンへ移行しました

大阪リージョン爆誕！！ 朝起きて寝ぼけながらリージョンを見てると。 「大阪リージ …

PREV
Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索する
NEXT
AWS Elastic Beanstalkによって作成されたS3バケットはDeleteBucketが拒否されていた