yamamanx

growing hard days

*

Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる

   


MySQLのデータの可視化にAmazon Elasticsearch Service + kibanaを使用したくてその設定をしてみました。
MySQLとAESの間はlogstash(EC2)でつないでいます。

cdp-aes

Amazon Elasticsearch Servicのセットアップ

マネージメントコンソールでAmazon Elasticsearch Serviceをクリックします。
es-1

domain nameで任意の名前を入力します。
es-2

インスタンスを設定します。今回はテストなんでt2.microでEBSにしています。
es-3

アクセスポリシーはIPアドレスで制限してみます。
(例はプライベートアドレスで書いてますがグローバルIPが必要です。)
で、ここにkibanaにアクセスに来るグローバルIPもですが、logstashのEC2のEIPも設定が必要です。
es-4

完了です。「Processing」になったら使えます。
es-5

logstash(EC2)の操作

EC2の構築は割愛しますが下記を設定してます。

  • ロールはAdministratorAccessを割り当ててます。
  • セキュリティグループは専用で作成しRDSのセキュリティグループで3306ポートにアクセス可能として設定します。

  • logstashのインストール

  • logstash-output-amazon_esプラグインのインストール
  • logstash-input-jdbcプラグインのインストール
  • mysql-jdbc-connectorのダウンロード
    をEC2でします。

例えばtable_name.confとかで下記を記述したファイルを作成します。

logstashの引数でtable_name.confファイルを指定して実行します。

マッピングも自動で行われてデータがkibanaから確認できます。

@yamamanx
開発ベンダー5年、ユーザ企業システム部門通算8年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

 - AWS , ,

ad

ad

Message

メールアドレスが公開されることはありません。

  関連記事

EC2 Amazon LinuxのNginx+RDS MySQLにレンタルWebサーバーからWordPressを移設する(手順整理版)

ブログサイト(WordPress)をレンタルWebサーバーからAWSに移設する事 …

JAWS-UG Osaka 第15回勉強会 AWS Summit Tokyo 2016 アップデート追っかけ会

「JAWS-UG Osaka 第15回勉強会 AWS Summit Tokyo …

AtomエディタでEC2のファイルを直接編集する

Webページを編集していてEC2のファイルをvimエディタでさわったりしています …

AWS EC2 でインスタンスにIPアドレスを紐付ける

AWS EC2で作ったサーバは何もしなければ起動するたびにIPアドレスが変わって …

AWS EC2 Amazon Linux にEC-CUBE3をnginx+MySql環境へインストール(手順検証中)

EC2インスタンスを作成する 少し古い記事で恐縮ですが試したい事があるのでAWS …

RDS + VPC + Lambda + API Gateway + CloudFront + WAF + ACMでAPIを構築する

RDSのMySQLの情報を与えられたリクエストをキーにしてjsonで返すAPIを …

Amazon LinuxにRedmine 環境構築(エラーと対応をそのまま記載版)

Amazon Linuxにgit + Redmineの環境を構築してみます。 自 …

Amazon LinuxにAlfresco Community Editionをインストールする

ダウンロード準備 Alfresco公式サイトで、「エンタープライズコンテンツ管理 …

「雲勉 第1回【勉強会:新技術好き!】AWSマネージドサービス勉強会」に行ってきました

「雲勉 第1回【勉強会:新技術好き!】AWSマネージドサービス勉強会」に行ってき …

AWS RDS でMySQLインスタンスを構築する

Amazon Web ServiceにはAmazon Relational Da …