Innovation EGG 第8回 『可視化・課題と支える技術』に行ってきました

Innovation EGG 第8回 『可視化・課題と支える技術』に行ってきました。

「何を見たいか」
「なぜ見たいか」
「その先にあるアクションは何か」

これらを考え、そして可視化の先には自動化があり、そのための判定基準を設けるために、仮設を証明するために可視化していく、という事が大切なんだなと思いました

ぶっちゃけAWSでリアルタイム可視化の仕組みってどうやって構築

デジタルキューブ 堀家さん

Social Realtime Monitor

Kinesis
– ストリーミングデータを処理
– 処理系(lambda)が扱いやすいようにデータを保存

Lambda
– Kinesisから受け取ったデータをSNSへ渡す
– イベントドリブン

SNS
– HTTPエンドポイントに通知メッセージを送信
– HTTP POSTリクエストをひたすら送信

socket.io
– ブラウザにデータを送信
– WebSocketによるブラウザとサーバーの双方向通信

D3.js
– ブラウザ上で描画、データヴィジュアライゼーションエンジン
– グラフ描画ライブラリではない、D3をベースにしたグラフ描画ライブラリは多数ある

DynamoDB Stream
– レコードが追加された時にストリームデータとして配信できる
– トリガーを作成してトリガーファンクションとしてlambdaを選択できる
– Twitter のユーザー名をハッシュキー、タイムスタンプをレンジキーでやった

CloudFormation
– アーキテクチャをアーカイブして再利用
– 同じ構成をいくつでも立ち上げられる

AWS IoT
– MQTT over Websocketがある

可視化から始めるDevOps

cloudpack 青池さん、高橋さん

• 不要なアラートは発生させない
• 本当に対策対応が必要なアラートに絞る
• Nagios -> pagerduty
• メールで来たものがpagerdutyに登録されているかをlambdaで検知してslackへ通知する
• lambdaが動いているかはcloudwatchでslackへ通知する

面倒なタイプのログを可視化した話とメトリクスを時系列データにするススメ。それとその先。

HiganWorks 沢登さん

• Kinensis Firehose
• Delivery Stream
• AWS Data Pipeline
• Re:Dash
• GoogleBigQuery->DynamoDB
• 時系列にデータを取っておけば役に立つ
• Librato – 数字を放り込めばグラフに出来るサービス

性能テストの評価と可視化

ロックオン 松本さん

• 平均値はデータ群をあらわす新たな数値
• 見えると可視化、見えていると見ているは違う
• データ全体を俯瞰する ヒストグラム、箱ひげ図
• 標準誤差
• 統計確率的に600回
• t検定
• 何を知りたいか
• それは数字でどう表現出来るか
• その数字はどう作るか
• グラフにするなら見て1秒でわかるグラフ、そのための表現方法を知っておく

クラウドサービスを運営する上で活用している可視化のためのサービス・ツール

ヴェルク 田向さん

boardを運営する中で必要な可視化を広く浅く紹介

CloudWatch

• 基本的な死活監視、負荷状況の監視、インフラレイヤ

NewRelic

• パフォーマンスの可視化
• AWS外からの死活監視
• 週次でレポート

Airbreak

• アプリケーションエラー通知

Scutum

• WAF
• 攻撃の可視化

Vuls

• 脆弱性の可視化

Vaddy

• アプリケーション脆弱性の可視化

Intercom

• サポートの可視

セキュリティの可視化　狙われる日本

MOTEX中本さん

• カスペルスキー社のリアルタイム攻撃の可視化

• 攻撃者は59万円投資して840万円のリターン

• ランサムウェアがビジネス化、マーケット化してきている。

• データ分析は仮設証明

Githubで地理情報可視化

デジタルキューブ 岡本さん

GEOJson

• Githubではそのまま使える
• GEOJson-with-spec

AWS(Amazon Redshift)とTableauではじめるビッグデータ分析

クラスメソッド しんやさん

Redshift

• 超高速、フルマネージドDWH
• 最小サイズ 160GB

Tableau

• スムーズな操作感
• 直感で可視化
• 描画の自由度が高い

何を見たいか、なぜ見たいかを問いかけながら進めていくことが大事

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト ［DVA-C02対応］ 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。