ヤマムギ

growing hard days.

*

Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する

      2021/08/12

Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索するで検索した結果をKinesis Data FirehoseからS3バケットに保存します。

S3バケットの作成

バケット名だけ入力してFirehoseと同じリージョンに作成しました。

Kinesis Data Firehoseの作成

名前を入力しました。

データをLambdaで加工したり、Glueで変換できるようです。
今回はひとまず保存するだけなのでなしで設定します。

送信先でS3バケットを指定しました。
プレフィックスもこの画面で設定できました。
プレフィックスを指定しなければFirehoseが自動でYYYY/MM/DD/hhをつけてくれるようです。
指定なしにしました。

バッファの設定では、容量、時間の両方を最小値にしました。
これで、レコードが1MBになるか、60秒経過するかのどちらかかで、S3に送信されます。

作成できました。
Firehoseが使うIAMロールも自動で作成されていました。

Kinesis Data Analyticsから送信先の設定

送信先を作成します。

FirehoseとAnalyticsのストリームを選択しました。

結果を確認

Analyticsの確認時同様にLambdaを実行して確認してみました。

S3バケットにオブジェクトが作成されました。

マネジメントコンソールからオブジェクトアクションのS3 Selectで確認すると、抽出されたツイートが格納されていることが確認できました。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

【PR】 「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

【PR】 「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

CloudFormation StackSetsでOrganizations組織のアカウントに一気にIAMロールを作成した

Organizationsで管理している各アカウントにIAMロールを作成したい場 …

S3インベントリ設定でインベントリファイルの作成を設定

インベントリレポートファイルはオブジェクトの一覧情報です。 日次、週次で定期作成 …

東京リージョンの1つのAZ(apne1-az2)でt3.nanoスポットインスタンスが拒否されちゃいました

拒否されちゃいました ちょっとした検証をしようとしてて、t3.nanoのスポット …

Amazon API Gatewayでモックを作る

超シンプルなAPI Gatewayのサンプルがほしかったので、ユーザーガイドの手 …

AWSアカウント内のすべてのS3バケットを削除するLambda(Python)

やりたいこと 特定アカウント内のS3バケットを全部削除したいです。 バケット内の …

Amazon SESでメール受信

Amazon SES(Simple Email Service)にメールドメイン …

Amazon Linux2(EC2)にEC-CUBE 4をインストール

こちらのHOMEお知らせ・コラムAmazon Linux2にEC-CUBE4.0 …

S3バケットにWebフォントをアップロードしてCORSを設定する

Webフォントファイルは、モジワク研究さんのマメロンを使用させていただきました。 …

RDS自動バックアップの自動クロスリージョンコピー

このブログのRDS for MySQLはAWS Backupで大阪リージョンから …

EC2のAMIとRDSのスナップショットを他のAWSアカウントに共有してブログサイトをAWSアカウント間で引っ越す

当ブログで使用しているEC2とRDSを環境の整理のため、他のAWSアカウントへ引 …