[JapanTaxi] Athena 指向アナリティクス 〜真面目に手を抜き価値を得よ〜(AWS Summit Tokyo 2017)を聞いてきました
2017/06/05
Athenaのユースケースとして聞きにいきましたが、最近触ってるRe:dashも登場しました。
S3 + Athena + QuickSight or Re:dash or OtherBI はシンプルな構成としてトライしてみたいなと思いまして、こちらの記事で個人の月次データでやってみました。
TuneCoreの売上データCSVをS3に格納してAthenaのクエリをRe:dashのデータソースにして可視化する
以下は当日セッションを聞いてのメモです。
Japan Taxiのサービスの概要と歴史
- 全国タクシー アプリの開発
- アプリからタクシーを呼ぶことが出来る
- カード決済も可能
- 予約も可能
- 目的地を入れることで運賃計算も可能
- 位置情報サービス、移動で人を幸せにする
- タクシー会社が内製しているアプリ
- 提携タクシー事業社322社
- 乗務員向けアプリ
- 運行管理
- 2011年ローンチし、2016年にリニューアル
- AWS , Azure GCPを用途に応じて使い分けているハイブリッドインフラ
- EC2 , RDS. Lambda, Beanstalk , ELB , S3 , SQS , SES , CloudFront
- 監視はDatadog
Athenaを選ぶ理由
- 課金対象がスキャン量のみ
- S3がそのままデータソースなのでS3資産をそのまま使える
- ログは全て(Windows,Linux,SQLServer,FileStorage)S3に集める
- S3の設定がAthenaを意識されてなくても大きな問題はない
使用例
- データ量 : 1.5GB/daily + app log , 5年分
- 緯度経度データなどをRe:dashを使ってマップで見てる
- Re:dashのデータソースをAthenaにしている
- 状態監視はre:dashのalert
予約注文の課題の可視化
- Re:dashとAthenaでリアルタイム監視
- 受けられなかった予約注文を可視化
- 目的は注文ロスの排除
時系列データの可視化
- 注文ピークタイムの計測
開発ベンダー5年、ユーザ企業システム部門通算9年、ITトレーナー1年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
AWS Lambda(Python)でDynamoDB テーブルを日次で削除/作成(オートスケーリング付き)
この記事はAWS #2 Advent Calendar 2018に参加した記事で …
-
-
Developers Summit 2018 「AWSのフルマネージドな環境でCI/CDをやってみよう！AWS Cloud9からAWS Fargateへの継続的デプロイをご紹介」を聞きました
※写真は展示のAmazon Echoです。 以下は、思ったことや気になったことを …
-
-
「X-Tech JAWS 【第2回】~9割のX-Techと1割の優しさで切り拓く未来~」に行ってきました
「X-Tech JAWS 【第2回】~9割のX-Techと1割の優しさで切り拓く …
-
-
AWS Summit 2017 Tokyo Day2 開場~基調講演
昨年に引き続き今年もAWS Summit Tokyoへ行ってきました。 朝一の新 …
-
-
Amazon Aurora Serverless 課金確認
Amazon Aurora Serverlessを使い始めてみましたの記事で書い …
-
-
kintoneで設定したスケジュールにあわせてlambda(python)からSQSへメッセージを送る
EC2の起動停止をそろそろ手動でやるのも疲れてきそうなのと、やはり停止するのを忘 …
-
-
リザーブドインスタンスはじめました
このブログも2014年9月にはじめたので、もうすぐ3年。 1件~17件とばらつき …
-
-
CUSTOMINEを使ってkintoneからAWS Lambdaを実行する(Cognito認証付き)
先日の記事「kintoneのカスタマイズ開発を超速にするCUSTOMINE」で書 …
-
-
Selenium, Headless ChromeとAWS Lambdaで夜な夜なスクレイピング
このようなアーキテクチャで、Alexaスキルの開発を進めていまして、元となる情報 …
-
-
AWS EC2 インスタンスステータスのチェックで失敗 原因はPHP-FPMのOOM-KILLER
先週に引き続きEC2のインスタンスステータスチェックで失敗 再起動するも失敗する …