Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる
MySQLのデータの可視化にAmazon Elasticsearch Service + kibanaを使用したくてその設定をしてみました。
MySQLとAESの間はlogstash(EC2)でつないでいます。
目次
Amazon Elasticsearch Servicのセットアップ
マネージメントコンソールでAmazon Elasticsearch Serviceをクリックします。
domain nameで任意の名前を入力します。
インスタンスを設定します。今回はテストなんでt2.microでEBSにしています。
アクセスポリシーはIPアドレスで制限してみます。
(例はプライベートアドレスで書いてますがグローバルIPが必要です。)
で、ここにkibanaにアクセスに来るグローバルIPもですが、logstashのEC2のEIPも設定が必要です。
完了です。「Processing」になったら使えます。
logstash(EC2)の操作
EC2の構築は割愛しますが下記を設定してます。
- ロールはAdministratorAccessを割り当ててます。
- セキュリティグループは専用で作成しRDSのセキュリティグループで3306ポートにアクセス可能として設定します。
-
logstashのインストール
- logstash-output-amazon_esプラグインのインストール
- logstash-input-jdbcプラグインのインストール
- mysql-jdbc-connectorのダウンロード
をEC2でします。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
$ wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.4-1.noarch.rpm $ sudo rpm -ivh logstash-1.5.4-1.noarch.rpm $ /opt/logstash/bin/logstash --version logstash 1.5.4 $ export PATH=$PATH:/opt/logstash/bin $ sudo /opt/logstash/bin/plugin install logstash-output-amazon_es Validating logstash-output-amazon_es Installing logstash-output-amazon_es Installation successful $ sudo /opt/logstash/bin/plugin install logstash-input-jdbc Validating logstash-input-jdbc Installing logstash-input-jdbc Installation successful $ wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.38.tar.gz $ sudo tar xzf mysql-connector-java-5.1.38.tar.gz |
例えばtable_name.confとかで下記を記述したファイルを作成します。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
input { jdbc { jdbc_driver_library => "mysql-connector-java-5.1.38/mysql-connector-java-5.1.38-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://*************.ap-northeast-1.rds.amazonaws.com:3306/db" jdbc_user => "user" jdbc_password => "******" statement => "select * from table_name" } } output { amazon_es { hosts => ["search-**********************.ap-northeast-1.es.amazonaws.com"] region => "ap-northeast-1" index => "table_name" document_type => "table_name" } stdout{ } } |
logstashの引数でtable_name.confファイルを指定して実行します。
1 2 |
logstash -f table_name.conf |
マッピングも自動で行われてデータがkibanaから確認できます。
最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。
【PR】 「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。
【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。
【PR】 「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。
【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
ヤマムギ vol.8 (AWS)EC2でLinuxサーバー構築ハンズオン 手順
ヤマムギとは from Mitsuhiro Yamashita 「AWSではじめ …
-
-
Amazon ECS Workshop for AWS Summit Online
INTRODUCTION TO AMAZON ECSに手順や必要なリンクがありま …
-
-
RDSのポイントインタイムリカバリをしました
WordPressで画像アップロードができなくなった(AWS WAFでブロックし …
-
-
Amazon Linux2のジャンボフレーム
ユーザーガイドのEC2 インスタンスのネットワークの最大送信単位 (MTU)を試 …
-
-
Amazon Route 53 Resolverを設定確認
Route 53 Resolverを設定しました。 東京リージョンのVPCをオン …
-
-
Cloud9のデフォルト設定での権限確認(AWS managed temporary credentials)
Cloud9の環境を作成した際のデフォルトアクセス権限は、環境を作成したIAMユ …
-
-
AWS Well-Architected フレームワークによるクラウド ベスト プラクティスのセッションを聞いたので自アカウントの環境を確認してみる
AWS Summit Tokyo 2017で「AWS Well-Architec …
-
-
Amazon SES, S3で受信したメールをAWS Lambda, SESで別のメールへ転送する
Amazon SESでメール受信で受信したメールを、毎回S3バケットに見に行って …
-
-
S3リクエストメトリクスをプレフィックスを指定して有効化
検証でどのリクエストがどれぐらい発生しているのか、さっと知りたくなったので、特定 …
-
-
AWS 認定クラウドプラクティショナーのサンプル問題
AWS認定クラウドプラクティショナのサンプル問題2018年9月25日現在で、英語 …