ヤマムギ

growing hard days.

*

Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる

   

MySQLのデータの可視化にAmazon Elasticsearch Service + kibanaを使用したくてその設定をしてみました。
MySQLとAESの間はlogstash(EC2)でつないでいます。

cdp-aes

Amazon Elasticsearch Servicのセットアップ

マネージメントコンソールでAmazon Elasticsearch Serviceをクリックします。
es-1

domain nameで任意の名前を入力します。
es-2

インスタンスを設定します。今回はテストなんでt2.microでEBSにしています。
es-3

アクセスポリシーはIPアドレスで制限してみます。
(例はプライベートアドレスで書いてますがグローバルIPが必要です。)
で、ここにkibanaにアクセスに来るグローバルIPもですが、logstashのEC2のEIPも設定が必要です。
es-4

完了です。「Processing」になったら使えます。
es-5

logstash(EC2)の操作

EC2の構築は割愛しますが下記を設定してます。

  • ロールはAdministratorAccessを割り当ててます。
  • セキュリティグループは専用で作成しRDSのセキュリティグループで3306ポートにアクセス可能として設定します。

  • logstashのインストール

  • logstash-output-amazon_esプラグインのインストール
  • logstash-input-jdbcプラグインのインストール
  • mysql-jdbc-connectorのダウンロード
    をEC2でします。

例えばtable_name.confとかで下記を記述したファイルを作成します。

logstashの引数でtable_name.confファイルを指定して実行します。

マッピングも自動で行われてデータがkibanaから確認できます。


最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

Redmineの添付ファイルをS3に同期する

RedmineをAWS上で構築するデザインを考えていて、せっかくなので冗長化しよ …

CodeWhisperer(Visual Studio Code)でセキュリティスキャン

CodeWhispererのセキュリティスキャンを実行してみました。 画面下の[ …

Intel 82599 VF インターフェイスで拡張ネットワーキングが有効なEC2インスタンスで帯域幅を確認してみました

拡張ネットワーキングが有効なEC2インスタンスとそうではないインスタンスの2セッ …

Pandocサーバーのコンテナイメージを作成する

マークダウンからEPUBへの変換をAWS Batchで行いたく、ECRにアップロ …

AWS Toolkit for Eclipseで「Error Message: Unable to find a region via the region provider chain. Must provide an explicit region in the builder or setup environment to supply a region.」

AWS Toolkit for Eclipseをセットアップ(2021年版)の環 …

このブログをAWS大阪リージョンへ移行しました

大阪リージョン爆誕!! 朝起きて寝ぼけながらリージョンを見てると。 「大阪リージ …

Amazon FSx for Lustreのユーザーガイド入門演習

ファイルシステムの作成 FSx for Lustreを選択しました。 容量やスル …

EC2インスタンスの起動で、–cli-input-jsonと–cli-input-yamlを使いました

AWS CloudShellから実行しました。 JSON実行 [crayon-6 …

Rocket.ChatのOutGoingWebhookからのAPI GatewayからのDynamoDB

少し前に、Rocket.ChatからOut Going Webhookを設定して …

共有AMIのコピー時にエラー「You do not have permission to access the storage of this ami」

他アカウントから共有されたAMIをコピーする際に、「You do not hav …