Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる

2016/06/26

MySQLのデータの可視化にAmazon Elasticsearch Service + kibanaを使用したくてその設定をしてみました。
MySQLとAESの間はlogstash(EC2)でつないでいます。

cdp-aes

Amazon Elasticsearch Servicのセットアップ

マネージメントコンソールでAmazon Elasticsearch Serviceをクリックします。
es-1

domain nameで任意の名前を入力します。
es-2

インスタンスを設定します。今回はテストなんでt2.microでEBSにしています。
es-3

アクセスポリシーはIPアドレスで制限してみます。
(例はプライベートアドレスで書いてますがグローバルIPが必要です。)
で、ここにkibanaにアクセスに来るグローバルIPもですが、logstashのEC2のEIPも設定が必要です。
es-4

完了です。「Processing」になったら使えます。
es-5

logstash(EC2)の操作

EC2の構築は割愛しますが下記を設定してます。

ロールはAdministratorAccessを割り当ててます。
セキュリティグループは専用で作成しRDSのセキュリティグループで3306ポートにアクセス可能として設定します。
logstashのインストール
logstash-output-amazon_esプラグインのインストール
logstash-input-jdbcプラグインのインストール
mysql-jdbc-connectorのダウンロード
をEC2でします。

$  wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.4-1.noarch.rpm
$ sudo rpm -ivh logstash-1.5.4-1.noarch.rpm
$ /opt/logstash/bin/logstash --version
logstash 1.5.4
$ export PATH=$PATH:/opt/logstash/bin
$ sudo /opt/logstash/bin/plugin install logstash-output-amazon_es
Validating logstash-output-amazon_es
Installing logstash-output-amazon_es
Installation successful
$ sudo /opt/logstash/bin/plugin install logstash-input-jdbc
Validating logstash-input-jdbc
Installing logstash-input-jdbc
Installation successful
$ wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.38.tar.gz
$ sudo tar xzf mysql-connector-java-5.1.38.tar.gz

$ wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.4-1.noarch.rpm

$ sudo rpm -ivh logstash-1.5.4-1.noarch.rpm

$ /opt/logstash/bin/logstash --version

logstash 1.5.4

$ export PATH=$PATH:/opt/logstash/bin

$ sudo /opt/logstash/bin/plugin install logstash-output-amazon_es

Validating logstash-output-amazon_es

Installing logstash-output-amazon_es

Installation successful

$ sudo /opt/logstash/bin/plugin install logstash-input-jdbc

Validating logstash-input-jdbc

Installing logstash-input-jdbc

Installation successful

$ wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.38.tar.gz

$ sudo tar xzf mysql-connector-java-5.1.38.tar.gz

例えばtable_name.confとかで下記を記述したファイルを作成します。

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.38/mysql-connector-java-5.1.38-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://*************.ap-northeast-1.rds.amazonaws.com:3306/db"
    jdbc_user => "user"
    jdbc_password => "******"
    statement => "select * from table_name"
  }
}

output {
  amazon_es {
    hosts => ["search-**********************.ap-northeast-1.es.amazonaws.com"]
    region => "ap-northeast-1"
    index => "table_name"
    document_type => "table_name"
  }
  stdout{ }
}