ヤマムギ

growing hard days

*

[JapanTaxi] Athena 指向アナリティクス 〜真面目に手を抜き価値を得よ〜(AWS Summit Tokyo 2017)を聞いてきました

      2017/06/05


Athenaのユースケースとして聞きにいきましたが、最近触ってるRe:dashも登場しました。

S3 + Athena + QuickSight or Re:dash or OtherBI はシンプルな構成としてトライしてみたいなと思いまして、こちらの記事で個人の月次データでやってみました。
TuneCoreの売上データCSVをS3に格納してAthenaのクエリをRe:dashのデータソースにして可視化する

以下は当日セッションを聞いてのメモです。

Japan Taxiのサービスの概要と歴史

  • 全国タクシー アプリの開発
  • アプリからタクシーを呼ぶことが出来る
  • カード決済も可能
  • 予約も可能
  • 目的地を入れることで運賃計算も可能
  • 位置情報サービス、移動で人を幸せにする
  • タクシー会社が内製しているアプリ
  • 提携タクシー事業社322社
  • 乗務員向けアプリ
  • 運行管理
  • 2011年ローンチし、2016年にリニューアル
  • AWS , Azure GCPを用途に応じて使い分けているハイブリッドインフラ
  • EC2 , RDS. Lambda, Beanstalk , ELB , S3 , SQS , SES , CloudFront
  • 監視はDatadog

Athenaを選ぶ理由

  • 課金対象がスキャン量のみ
  • S3がそのままデータソースなのでS3資産をそのまま使える
  • ログは全て(Windows,Linux,SQLServer,FileStorage)S3に集める
  • S3の設定がAthenaを意識されてなくても大きな問題はない

使用例

  • データ量 : 1.5GB/daily + app log , 5年分
  • 緯度経度データなどをRe:dashを使ってマップで見てる
  • Re:dashのデータソースをAthenaにしている
  • 状態監視はre:dashのalert

予約注文の課題の可視化

  • Re:dashとAthenaでリアルタイム監視
  • 受けられなかった予約注文を可視化
  • 目的は注文ロスの排除

時系列データの可視化

  • 注文ピークタイムの計測
@yamamanx
開発ベンダー5年、ユーザ企業システム部門通算8年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

 - AWS , , , ,

ad

ad

Message

メールアドレスが公開されることはありません。

  関連記事

EC2とRDSのMySQLを他のAWSアカウントへ移設する

他のAWSアカウントへシステムごと移設した場合の手順です。 構成はEC2とRDS …

DS18B20センサー+Raspberry Piで取得した温度をAmazon Kinesis FirehoseからS3へ格納してAthenaでクエリーしたのをQuickSightで可視化する

JAWS DAYS 2017でやりますハンズオンの「[IoTハンズオン] Ras …

LINE Bot APIのファーストステップをLambda+API Gatewayでやってみたらものすごく簡単で驚いた

トライアル当初はホワイトリストのしばりや、初回反応するまで時間がかかったりとみな …

SendGridのイベントをAPI Gateway -> Lambda(Python) -> DynamoDBに格納する

SendGridのメールイベントログはコンソールで確認出来るのは直近7日分で一括 …

AWSのアカウントを新規作成と最低限やっておいた方がいいMFAの設定

AWSのアカウントを新規作成する手順を書き出しておきます。 ※2017年8月6日 …

「雲勉 第1回【勉強会:新技術好き!】AWSマネージドサービス勉強会」に行ってきました

「雲勉 第1回【勉強会:新技術好き!】AWSマネージドサービス勉強会」に行ってき …

kintoneで設定したスケジュールにあわせてlambda(python)からSQSへメッセージを送る

EC2の起動停止をそろそろ手動でやるのも疲れてきそうなのと、やはり停止するのを忘 …

Going Serverless with AWS(AWS Summit Tokyo 2017)を聞いてきました

AWS Summit Tokyo 2017でセッション「Going Server …

Route53でドメインを新規取得してDNSレコードを設定する

Elastic IPをAWSで発行しているのですから、DNSの設定も同じようにマ …

EC2 Amazon LinuxのNginx+RDS MySQLにレンタルWebサーバーからWordPressを移設する(手順整理版)

ブログサイト(WordPress)をレンタルWebサーバーからAWSに移設する事 …