Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する
2021/08/12
Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索するで検索した結果をKinesis Data FirehoseからS3バケットに保存します。
目次
S3バケットの作成
バケット名だけ入力してFirehoseと同じリージョンに作成しました。
Kinesis Data Firehoseの作成
名前を入力しました。
データをLambdaで加工したり、Glueで変換できるようです。
今回はひとまず保存するだけなのでなしで設定します。
送信先でS3バケットを指定しました。
プレフィックスもこの画面で設定できました。
プレフィックスを指定しなければFirehoseが自動でYYYY/MM/DD/hhをつけてくれるようです。
指定なしにしました。
バッファの設定では、容量、時間の両方を最小値にしました。
これで、レコードが1MBになるか、60秒経過するかのどちらかかで、S3に送信されます。
作成できました。
Firehoseが使うIAMロールも自動で作成されていました。
Kinesis Data Analyticsから送信先の設定
送信先を作成します。
FirehoseとAnalyticsのストリームを選択しました。
結果を確認
Analyticsの確認時同様にLambdaを実行して確認してみました。
S3バケットにオブジェクトが作成されました。
マネジメントコンソールからオブジェクトアクションのS3 Selectで確認すると、抽出されたツイートが格納されていることが確認できました。
最後までお読みいただきましてありがとうございました!
「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。


開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
slackのbotに天気を教えてもらう(Python on AWS Lambda + API Gateway)
slackのbotにAPIの定番ともいえる天気情報を教えてもらいました。 環境は …
-
-
Cloud9でCodeWhispererを使用する
アクセス権限 Cloud9のEC2に設定するIAMロールのIAMポリシーで co …
-
-
Amazon API GatewayをLambda(Python)で削除する
やりたいこと 特定のAWSアカウント、特定のリージョン内のAPI Gateway …
-
-
Amazon LinuxにAlfresco Community Editionをインストールする
ダウンロード準備 Alfresco公式サイトで、「エンタープライズコンテンツ管理 …
-
-
AWS Lambdaで Unable to import module エラーが発生したときは
そもそも、Pycharmのナビゲーションペインでディレクトリごとドラッグ& …
-
-
「JAWS-UG 名古屋 2022年 “re:Invent”の復習~忘年会~」に参加しました
re:Inventのおみやげも飲み物、ピザ、お寿司もたくさん。 コラボベースさん …
-
-
Amazon FSx for Lustreのユーザーガイド入門演習
ファイルシステムの作成 FSx for Lustreを選択しました。 容量やスル …
-
-
AWS CodeBuildのチュートリアルをやってみました
こちらユーザーガイドの最初の方にあるチュートリアルです。 コンソールを使用した …
-
-
AWS CDKでリージョンをまたいだクロススタックリファレンスはできなかった
例えばこんなコードが実行できるかというと、 [crayon-684afa0233 …
-
-
AWS Elastic Beanstalkによって作成されたS3バケットはDeleteBucketが拒否されていた
ちょっとした検証をしたあとに、Elastic Beanstalkのアプリケーショ …