ヤマムギ

growing hard days.

*

Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する

      2021/08/12

Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索するで検索した結果をKinesis Data FirehoseからS3バケットに保存します。

S3バケットの作成

バケット名だけ入力してFirehoseと同じリージョンに作成しました。

Kinesis Data Firehoseの作成

名前を入力しました。

データをLambdaで加工したり、Glueで変換できるようです。
今回はひとまず保存するだけなのでなしで設定します。

送信先でS3バケットを指定しました。
プレフィックスもこの画面で設定できました。
プレフィックスを指定しなければFirehoseが自動でYYYY/MM/DD/hhをつけてくれるようです。
指定なしにしました。

バッファの設定では、容量、時間の両方を最小値にしました。
これで、レコードが1MBになるか、60秒経過するかのどちらかかで、S3に送信されます。

作成できました。
Firehoseが使うIAMロールも自動で作成されていました。

Kinesis Data Analyticsから送信先の設定

送信先を作成します。

FirehoseとAnalyticsのストリームを選択しました。

結果を確認

Analyticsの確認時同様にLambdaを実行して確認してみました。

S3バケットにオブジェクトが作成されました。

マネジメントコンソールからオブジェクトアクションのS3 Selectで確認すると、抽出されたツイートが格納されていることが確認できました。


最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

AWS Summit Tokyo 2017 Day3 開場~基調講演~Dev Day Night

AWS Summit Tokyo 2017 参加2日目のDay3です。 基調講演 …

AWS Managed Microsoft ADを構築してユーザー追加まで

事前準備 DNSホスト名と名前解決を有効にしたVPCを作成して、2つのAZにパブ …

Amazon CodeCatalystのスペースとプロジェクトを作成してみました

Amazon CodeCatalystはIAMユーザーで操作するのではなく、AW …

AWS CodeBuildのチュートリアルをやってみました

こちらユーザーガイドの最初の方にあるチュートリアルです。 コンソールを使用した …

CloudFormationドリフト検出

CloudFormationスタックのドリフト検出を確認しました。 CloudF …

Aurora Serverless Data APIを有効にしてQuery Editorを使ってみました

Aurora ServerlessのMySQLでData APIを有効にして作成 …

AWS LambdaをVPC設定したときに「The provided execution role does not have permissions to call CreateNetworkInterface on EC2」

The provided execution role does not hav …

AWS Organizationsからアカウントを新規作成してみて

AWS Organizationsでアカウントを新規作成することがありましたので …

JAWS FESTA 2019 Sapporo 参加&当日スタッフ&企業サポーターで!

2019年のJAWS FESTA は札幌です! 今回もありがたいことに、所属して …

AWS CLIでS3マルチパートアップロードを確認

AWS CLI を使用して、Amazon S3 にファイルをマルチパートアップロ …