ヤマムギ

growing hard days.

*

Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる

   


MySQLのデータの可視化にAmazon Elasticsearch Service + kibanaを使用したくてその設定をしてみました。
MySQLとAESの間はlogstash(EC2)でつないでいます。

cdp-aes

Amazon Elasticsearch Servicのセットアップ

マネージメントコンソールでAmazon Elasticsearch Serviceをクリックします。
es-1

domain nameで任意の名前を入力します。
es-2

インスタンスを設定します。今回はテストなんでt2.microでEBSにしています。
es-3

アクセスポリシーはIPアドレスで制限してみます。
(例はプライベートアドレスで書いてますがグローバルIPが必要です。)
で、ここにkibanaにアクセスに来るグローバルIPもですが、logstashのEC2のEIPも設定が必要です。
es-4

完了です。「Processing」になったら使えます。
es-5

logstash(EC2)の操作

EC2の構築は割愛しますが下記を設定してます。

  • ロールはAdministratorAccessを割り当ててます。
  • セキュリティグループは専用で作成しRDSのセキュリティグループで3306ポートにアクセス可能として設定します。

  • logstashのインストール

  • logstash-output-amazon_esプラグインのインストール
  • logstash-input-jdbcプラグインのインストール
  • mysql-jdbc-connectorのダウンロード
    をEC2でします。

例えばtable_name.confとかで下記を記述したファイルを作成します。

logstashの引数でtable_name.confファイルを指定して実行します。

マッピングも自動で行われてデータがkibanaから確認できます。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

AlexaにAWSの最新Feedを読み上げてもらう(Lambda Python)

年末にAmazon Echo Dotを購入しましたので、練習がてらAlexaスキ …

AtomエディタでEC2のファイルを直接編集する

Webページを編集していてEC2のファイルをvimエディタでさわったりしています …

ヤマムギ vol.8 (AWS)EC2でLinuxサーバー構築ハンズオン 手順

ヤマムギとは from Mitsuhiro Yamashita 「AWSではじめ …

テキストをAmazon PollyでMP3に変換してS3に格納(AWS Lambda Python)

Google Calendar Twilio ReminderのテキストをAma …

AWS Toolkit for Eclipseで「Error Message: Unable to find a region via the region provider chain. Must provide an explicit region in the builder or setup environment to supply a region.」

AWS Toolkit for Eclipseをセットアップ(2021年版)の環 …

AWS Organizations組織でCompute Optimizerを有効にしました

OrganizationsでCompute Optimizerの信頼されたアクセ …

名前解決してセッションマネージャが使えるようにVyOSのhost_name.pyを編集しました

発生したエラー セッションマネージャからこんなエラーが出力されました。 [cra …

AWS Lambda KMSを使って環境変数を暗号化、復号化する(Python)

Lambda内で外部APIを使用する場合などをユースケースとして、環境変数をKM …

ある意味マネジメントコンソールで生成された署名付きURL

マネジメントコンソールにS3オブジェクトの[開く]というボタンがいつのまにか出来 …

Kinesis Data Analyticsの検索結果をKinesis Data FirehoseからS3バケットに保存する

Kinesis Data AnalyticsをKinesis Data Stre …