ヤマムギ

growing hard days.

*

Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する

      2021/08/12


Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索するで検索した結果をKinesis Data FirehoseからS3バケットに保存します。

S3バケットの作成

バケット名だけ入力してFirehoseと同じリージョンに作成しました。

Kinesis Data Firehoseの作成

名前を入力しました。

データをLambdaで加工したり、Glueで変換できるようです。
今回はひとまず保存するだけなのでなしで設定します。

送信先でS3バケットを指定しました。
プレフィックスもこの画面で設定できました。
プレフィックスを指定しなければFirehoseが自動でYYYY/MM/DD/hhをつけてくれるようです。
指定なしにしました。

バッファの設定では、容量、時間の両方を最小値にしました。
これで、レコードが1MBになるか、60秒経過するかのどちらかかで、S3に送信されます。

作成できました。
Firehoseが使うIAMロールも自動で作成されていました。

Kinesis Data Analyticsから送信先の設定

送信先を作成します。

FirehoseとAnalyticsのストリームを選択しました。

結果を確認

Analyticsの確認時同様にLambdaを実行して確認してみました。

S3バケットにオブジェクトが作成されました。

マネジメントコンソールからオブジェクトアクションのS3 Selectで確認すると、抽出されたツイートが格納されていることが確認できました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

AWS Transfer Family S3向けのSFTP対応サーバー

S3バケットは作成済です。 IAMロールの作成 [crayon-61f05a93 …

AWS Toolkit for Eclipseをセットアップ(2021年版)

AWS Toolkit for Eclipseをセットアップするで6年前に書いて …

AWS認定試験の自宅受験で壁のポスターを注意されちゃいました

AWS認定オンライン受験をしてみましたに書きましたとおり、自宅受験デビューしまし …

VPC環境でLambdaを100同時実行してプライベートIPアドレスを確認した

2019年9月発表のLambda 関数が VPC 環境で改善されます以降に、VP …

Amazon SES, S3で受信したメールをAWS Lambda, SESで別のメールへ転送する

Amazon SESでメール受信で受信したメールを、毎回S3バケットに見に行って …

RDS + VPC + Lambda + API Gateway + CloudFront + WAF + ACMでAPIを構築する

RDSのMySQLの情報を与えられたリクエストをキーにしてjsonで返すAPIを …

SCPが影響しないサービスにリンクされたロールにEC2が引き受けるIAMロールは含まれないことを確認

ドキュメントで確認 サービスコントロールポリシーのユーザーガイドには、「SCPは …

AWSセルフマネージドAD環境にリモートデスクトップで接続

AWSクイックスタートのActive Directory Domain Serv …

AWS Toolkit for EclipseからLambda関数を直接作成できずにMavenでパッケージ化して作成

AWS Toolkit for EclipseからLambda関数を直接作成 チ …

DynamoDBテーブル項目をS3にエクスポート

DynamoDBテーブルを一時テーブルとして使っていて、毎回使い捨てしてます。 …