Innovation EGG 第8回 『可視化・課題と支える技術』に行ってきました
2016/09/18
Innovation EGG 第8回 『可視化・課題と支える技術』に行ってきました。
「何を見たいか」
「なぜ見たいか」
「その先にあるアクションは何か」
これらを考え、そして可視化の先には自動化があり、そのための判定基準を設けるために、仮設を証明するために可視化していく、という事が大切なんだなと思いました
目次
ぶっちゃけAWSでリアルタイム可視化の仕組みってどうやって構築
デジタルキューブ 堀家さん
Social Realtime Monitor
Kinesis
– ストリーミングデータを処理
– 処理系(lambda)が扱いやすいようにデータを保存
Lambda
– Kinesisから受け取ったデータをSNSへ渡す
– イベントドリブン
SNS
– HTTPエンドポイントに通知メッセージを送信
– HTTP POSTリクエストをひたすら送信
socket.io
– ブラウザにデータを送信
– WebSocketによるブラウザとサーバーの双方向通信
D3.js
– ブラウザ上で描画、データヴィジュアライゼーションエンジン
– グラフ描画ライブラリではない、D3をベースにしたグラフ描画ライブラリは多数ある
DynamoDB Stream
– レコードが追加された時にストリームデータとして配信できる
– トリガーを作成してトリガーファンクションとしてlambdaを選択できる
– Twitter のユーザー名をハッシュキー、タイムスタンプをレンジキーでやった
CloudFormation
– アーキテクチャをアーカイブして再利用
– 同じ構成をいくつでも立ち上げられる
AWS IoT
– MQTT over Websocketがある
可視化から始めるDevOps
cloudpack 青池さん、高橋さん
- 不要なアラートは発生させない
- 本当に対策対応が必要なアラートに絞る
- Nagios -> pagerduty
- メールで来たものがpagerdutyに登録されているかをlambdaで検知してslackへ通知する
- lambdaが動いているかはcloudwatchでslackへ通知する
面倒なタイプのログを可視化した話とメトリクスを時系列データにするススメ。それとその先。
HiganWorks 沢登さん
- Kinensis Firehose
- Delivery Stream
- AWS Data Pipeline
- Re:Dash
- GoogleBigQuery->DynamoDB
- 時系列にデータを取っておけば役に立つ
- Librato – 数字を放り込めばグラフに出来るサービス
性能テストの評価と可視化
ロックオン 松本さん
- 平均値はデータ群をあらわす新たな数値
- 見えると可視化、見えていると見ているは違う
- データ全体を俯瞰する ヒストグラム、箱ひげ図
- 標準誤差
- 統計確率的に600回
- t検定
- 何を知りたいか
- それは数字でどう表現出来るか
- その数字はどう作るか
- グラフにするなら見て1秒でわかるグラフ、そのための表現方法を知っておく
クラウドサービスを運営する上で活用している可視化のためのサービス・ツール
ヴェルク 田向さん
boardを運営する中で必要な可視化を広く浅く紹介
CloudWatch
- 基本的な死活監視、負荷状況の監視、インフラレイヤ
NewRelic
- パフォーマンスの可視化
- AWS外からの死活監視
- 週次でレポート
Airbreak
- アプリケーションエラー通知
Scutum
- WAF
- 攻撃の可視化
Vuls
- 脆弱性の可視化
Vaddy
- アプリケーション脆弱性の可視化
Intercom
- サポートの可視
セキュリティの可視化 狙われる日本
MOTEX中本さん
- カスペルスキー社のリアルタイム攻撃の可視化
- 攻撃者は59万円投資して840万円のリターン
- ランサムウェアがビジネス化、マーケット化してきている。
- データ分析は仮設証明
Githubで地理情報可視化
デジタルキューブ 岡本さん
GEOJson
- Githubではそのまま使える
- GEOJson-with-spec
AWS(Amazon Redshift)とTableauではじめるビッグデータ分析
クラスメソッド しんやさん
Redshift
- 超高速、フルマネージドDWH
- 最小サイズ 160GB
Tableau
- スムーズな操作感
- 直感で可視化
- 描画の自由度が高い
何を見たいか、なぜ見たいかを問いかけながら進めていくことが大事
最後までお読みいただきましてありがとうございました!
「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。
![](https://www.sbcr.jp/wp-content/uploads/2023/01/9784815617929-1-407x596.jpg)
「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。
![](https://www.sbcr.jp/wp-content/uploads/2024/01/9784815625382-3-420x596.jpg)
「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。
![](https://www.shuwasystem.co.jp//images/book/637791.jpg)
「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。
![](https://book.mynavi.jp/files/topics/135344_ext_06_0.jpg?v=1673514682)
「AWSではじめるLinux入門ガイド」という本を書きました。
![](https://www.yamamanx.com/wp-content/uploads/2023/12/81Rp5O9We6L._SY522_.jpg)
![@yamamanx](https://www.yamamanx.com/wp-content/plugins/lazy-load/images/1x1.trans.gif)
開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
Agile Japan 2015 大阪サテライト「アジャイル開発への架け橋」に行ってきました
Agile Japan 2015 大阪サテライトに行ってきました。 具体的な目的 …
-
-
Media-JAWS【第8回】「AWS人材教育について語る!」に参加しました。
Media-JAWS【第8回】「AWS人材教育について語る!」に参加しました。 …
-
-
「JAWS-UG 四国クラウドお遍路」からの特急南風にて変わり続けなければならないなあと思った
「JAWS-UG 四国クラウドお遍路」というAWSのユーザーグループJAWS-U …
-
-
「JAWS-UG KANSAI meetup Jan 2021」に参加しました
ようやくタイミングがあって、hopinに移行してから初の参加。 「今どんくらい人 …
-
-
JAWS DAYS 2018の1日前に名古屋にいました「JAWS-UG名古屋 AWS勉強会 JAWS DAYS 2018前夜祭」
仕事の都合でJAWS DAYS 2018の前日は名古屋にいました。 宿泊地はお店 …
-
-
「Rによる機械学習」に参加しました
異業種データサイエンス研究会を主宰されている井伊さんが開催された「Rによる機械学 …
-
-
JAWS DAYSで人生が変わった話
明日はJAWS DAYS 2021です! JAWS DAYSが変えた私の人生 「 …
-
-
「コミュニティリーダーズサミット in 高知 2023初鰹編」に参加しました
始まりました! 今回のテーマは「旗を立てる ~Raise Your Flag~」 …
-
-
Developers Summit 2024「技術的負債との戦い! PR TIMESエンジニアチームのオブザーバビリティ改善ジャーニー」を見ました
New Relic株式会社 テクニカルアカウントマネージャ 小林 良太郎さん 株 …
-
-
AWS認定のバッジ管理が新しくなったみたいです
ふと、メールが届きました。 なんでしょうね。 いきなりリンクを踏むのもあれなんで …