ヤマムギ

growing hard days.

*

Innovation EGG 第8回 『可視化・課題と支える技術』に行ってきました

      2016/09/18

Innovation EGG 第8回 『可視化・課題と支える技術』に行ってきました。

「何を見たいか」
「なぜ見たいか」
「その先にあるアクションは何か」

これらを考え、そして可視化の先には自動化があり、そのための判定基準を設けるために、仮設を証明するために可視化していく、という事が大切なんだなと思いました

ぶっちゃけAWSでリアルタイム可視化の仕組みってどうやって構築

デジタルキューブ 堀家さん

Social Realtime Monitor

iegg-1

Kinesis
– ストリーミングデータを処理
– 処理系(lambda)が扱いやすいようにデータを保存

Lambda
– Kinesisから受け取ったデータをSNSへ渡す
– イベントドリブン

SNS
– HTTPエンドポイントに通知メッセージを送信
– HTTP POSTリクエストをひたすら送信

iegg-2

socket.io
– ブラウザにデータを送信
– WebSocketによるブラウザとサーバーの双方向通信

D3.js
– ブラウザ上で描画、データヴィジュアライゼーションエンジン
– グラフ描画ライブラリではない、D3をベースにしたグラフ描画ライブラリは多数ある

DynamoDB Stream
– レコードが追加された時にストリームデータとして配信できる
– トリガーを作成してトリガーファンクションとしてlambdaを選択できる
– Twitter のユーザー名をハッシュキー、タイムスタンプをレンジキーでやった

CloudFormation
– アーキテクチャをアーカイブして再利用
– 同じ構成をいくつでも立ち上げられる

AWS IoT
– MQTT over Websocketがある

可視化から始めるDevOps

cloudpack 青池さん、高橋さん

  • 不要なアラートは発生させない
  • 本当に対策対応が必要なアラートに絞る
  • Nagios -> pagerduty
  • メールで来たものがpagerdutyに登録されているかをlambdaで検知してslackへ通知する
  • lambdaが動いているかはcloudwatchでslackへ通知する

面倒なタイプのログを可視化した話とメトリクスを時系列データにするススメ。それとその先。

HiganWorks 沢登さん

  • Kinensis Firehose
  • Delivery Stream
  • AWS Data Pipeline
  • Re:Dash
  • GoogleBigQuery->DynamoDB
  • 時系列にデータを取っておけば役に立つ
  • Librato – 数字を放り込めばグラフに出来るサービス

性能テストの評価と可視化

ロックオン 松本さん

  • 平均値はデータ群をあらわす新たな数値
  • 見えると可視化、見えていると見ているは違う
  • データ全体を俯瞰する ヒストグラム、箱ひげ図
  • 標準誤差
  • 統計確率的に600回
  • t検定
  • 何を知りたいか
  • それは数字でどう表現出来るか
  • その数字はどう作るか
  • グラフにするなら見て1秒でわかるグラフ、そのための表現方法を知っておく

クラウドサービスを運営する上で活用している可視化のためのサービス・ツール

ヴェルク 田向さん

boardを運営する中で必要な可視化を広く浅く紹介

CloudWatch

  • 基本的な死活監視、負荷状況の監視、インフラレイヤ

NewRelic

  • パフォーマンスの可視化
  • AWS外からの死活監視
  • 週次でレポート

Airbreak

  • アプリケーションエラー通知

Scutum

  • WAF
  • 攻撃の可視化

Vuls

  • 脆弱性の可視化

Vaddy

  • アプリケーション脆弱性の可視化

Intercom

  • サポートの可視

セキュリティの可視化 狙われる日本

MOTEX中本さん

iegg-3

iegg-4

  • カスペルスキー社のリアルタイム攻撃の可視化

iegg-5

  • 攻撃者は59万円投資して840万円のリターン

iegg-6

iegg-7

  • ランサムウェアがビジネス化、マーケット化してきている。

iegg-8

  • データ分析は仮設証明

Githubで地理情報可視化

デジタルキューブ 岡本さん

GEOJson

  • Githubではそのまま使える
  • GEOJson-with-spec

iegg-9

AWS(Amazon Redshift)とTableauではじめるビッグデータ分析

クラスメソッド しんやさん

iegg-10

Redshift

  • 超高速、フルマネージドDWH
  • 最小サイズ 160GB

Tableau

  • スムーズな操作感
  • 直感で可視化
  • 描画の自由度が高い

iegg-11

iegg-12

iegg-13

iegg-14

何を見たいか、なぜ見たいかを問いかけながら進めていくことが大事


最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - study

ad

ad

  関連記事

「Botの王道:配達ピザの注文をさばくBotを2時間で開発するワークショップ@大阪」に参加しました

「Botの王道:配達ピザの注文をさばくBotを2時間で開発するワークショップ@大 …

Alexaスキル開発でデザイン・スプリントのすすめ(Alexa Day 2019でのブログ)

ランチタイムセッションの一本目はISAOさん。 以下は、気になったことのメモとか …

「神戸Pythonの会 #2 meetup」に行ってきました

「神戸Pythonの会 #2 meetup」に行ってきました。 所感など Ato …

2018年もありがとうございました

今年も皆さまありがとうございました。 ということで、まだもうちょっといろいろやる …

Alexa Day 2018で「Alexa はどこにでも。AVSが開くAlexa Enabled なライフスタイル」を聞きました

photo by 金春さん スピーカーはオランダから一時帰国中の伊東のともさん …

「【大阪・本町】コミュニティピッチ×ビアバッシュ#0」で自分とコミュニティの関わりを振り返った発表をしてみました

「【大阪・本町】コミュニティピッチ×ビアバッシュ#0」というイベントで発表させて …

「Serverless Days Tokyo 2023 サーバーレスアーキテクチャを使って、小さく作って大きくする取り組み」を見ました

2023/9/23にServerless Days Tokyo 2023に参加し …

JAWS DAYS 2018の1日前に名古屋にいました「JAWS-UG名古屋 AWS勉強会 JAWS DAYS 2018前夜祭」

仕事の都合でJAWS DAYS 2018の前日は名古屋にいました。 宿泊地はお店 …

久しぶりにMonotaROさんの話しを聞いて興奮した「MonotaRO Tech Talk #6 (大阪梅田オフィスオープン記念)」

エンジニア人生というか、普通に仕事に対する考え方とか、自分に大きな影響を与えてく …

ヤマムギvol.11「AWSではじめるLinux入門ガイド」クイックスタート勉強会を開催しました

2020/7/15に、ヤマムギvol.11としまして、「AWSではじめるLinu …