ヤマムギ

growing hard days.

*

Amazon Elasticsearch ServiceにMySQLのデータを投入してkibanaで可視化してみる

   


MySQLのデータの可視化にAmazon Elasticsearch Service + kibanaを使用したくてその設定をしてみました。
MySQLとAESの間はlogstash(EC2)でつないでいます。

cdp-aes

Amazon Elasticsearch Servicのセットアップ

マネージメントコンソールでAmazon Elasticsearch Serviceをクリックします。
es-1

domain nameで任意の名前を入力します。
es-2

インスタンスを設定します。今回はテストなんでt2.microでEBSにしています。
es-3

アクセスポリシーはIPアドレスで制限してみます。
(例はプライベートアドレスで書いてますがグローバルIPが必要です。)
で、ここにkibanaにアクセスに来るグローバルIPもですが、logstashのEC2のEIPも設定が必要です。
es-4

完了です。「Processing」になったら使えます。
es-5

logstash(EC2)の操作

EC2の構築は割愛しますが下記を設定してます。

  • ロールはAdministratorAccessを割り当ててます。
  • セキュリティグループは専用で作成しRDSのセキュリティグループで3306ポートにアクセス可能として設定します。

  • logstashのインストール

  • logstash-output-amazon_esプラグインのインストール
  • logstash-input-jdbcプラグインのインストール
  • mysql-jdbc-connectorのダウンロード
    をEC2でします。

例えばtable_name.confとかで下記を記述したファイルを作成します。

logstashの引数でtable_name.confファイルを指定して実行します。

マッピングも自動で行われてデータがkibanaから確認できます。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

 - AWS , ,

ad

ad

  関連記事

Amzon Linux のApacheでRedmineとWordPressをバーチャルホストで共存する

EC2とRDSを節約しようと思いまして、Redmineを動かしてるとこに検証用W …

AWS Cloud9でJavaサンプルを実行する

リモートで共有開発ができるCloud9便利ですね。 Cloud9でJavaのサン …

MySQL WorkbenchからRDSに接続する

MySQL WorkbenchからAWS RDSのMySQLに接続するために、「 …

Amazon EC2のAMIイメージを自動取得して保持日数が過ぎたら削除

画像の保存をEC2に戻した事もあってEC2のバックアップの自動取得を勉強がてらや …

Going Serverless with AWS(AWS Summit Tokyo 2017)を聞いてきました

AWS Summit Tokyo 2017でセッション「Going Server …

Route53でドメインを新規取得してDNSレコードを設定する

Elastic IPをAWSで発行しているのですから、DNSの設定も同じようにマ …

ブログの画像を別アカウントのS3に移動するためにIAMロールでクロスアカウントアクセス

ずっと先延ばしにしていたのですが、このブログの画像はEC2から直接配信しています …

Rocket.ChatにAWS Lambda(Python)から投稿する

Rocket.ChatにAPIで投稿するテスト(Postman)をやってみて、使 …

よくあるサーバーレスアーキテクチャで質問フォーム

この記事はServerless2 Advent Calendar 2018に参加 …

LINE BOT AWARDS 2017に応募しました

LINEの友達追加QRです。 動作のご確認にどうぞ LINE BOT AWARD …