勉強会用にre:dashの環境構築した記録

2017/02/12

先日の「ヤマムギVol5 BI ファーストステップ ~re:dash , PowerBI , Google Data Studio , Wave~」勉強会でre:dashの発表をするべく環境を構築しましたのでそのときの記録です。

環境

re:dashサーバ : AWS EC2 ubuntu (re:dash AMI) t2.micro
Database : MySQL on RDS 5.7 t2.micro
SampleData : 大阪市自転車窃盗データ、神戸市ロケ撮影地データ

re:dashのインストール

公式サイトに行きます。

[SETUP GUIDE]のページに行きます。

AWSのAMIのリンクがあるのでus-east-1を選択しました。

インスタンスタイプをt2.microを選択しました。

IAMロールを付与して削除保護の有効化をしてます。

ストレージは検証用なのでデフォルトの8GBのままにしました。

Nameタグを「redash」にしました。

セキュリティグループを新規作成してHTTPを開放、SSHを自IPのみにしました。

これでSSHキーをダウンロードしてEC2インスタンスが起動します。

起動したらElastic IPを割り当てて、Route53でAレコードを設定しました。

re:dashアップデート

re:dashサーバにSSHログインします。

OSがUbuntuなのでユーザ名はubuntです。

$ ssh -i .ssh/redash.pem ubuntu@redash.yamamugi.com

1 2	$ ssh -i .ssh/redash.pem ubuntu@redash.yamamugi.com

以前は、fabricスクリプトを使ってやや面倒なアップデート手順だったのですが、楽になってます。
しかもv1系からはwgetもしなくていいようです。

cd /opt/redash/current
sudo bin/upgrade

cd /opt/redash/current

sudo bin/upgrade

でもAMIはv0系だったのでupgradeファイルをダウンロードして実行します。

v0系からのアップデート

$ wget https://raw.githubusercontent.com/getredash/redash/master/bin/upgrade
--2017-02-05 03:21:33--  https://raw.githubusercontent.com/getredash/redash/master/bin/upgrade
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.32.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.32.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 7389 (7.2K) [text/plain]
Saving to: ‘upgrade’

100%[======================================>] 7,389       --.-K/s   in 0s      

2017-02-05 03:21:33 (134 MB/s) - ‘upgrade’ saved [7389/7389]

ubuntu@ip-172-31-20-246:~$ chmod +x upgrade
ubuntu@ip-172-31-20-246:~$ sudo ./upgrade
Starting Redash upgrade:
Found version: 0.12.0
This version has been too long in the making and now finally released. Includes new visualizations, data sources, updated packages and numerous fixes and additions.

See [CHANGELOG](https://github.com/getredash/redash/blob/master/CHANGELOG.md#v0120---2016-11-20) for full release notes.

Huge thanks to over 30 contributors (!) that participated in this release.
Continue with upgrade? (y/n): y
Downloading release tarball...
Unpacking to: redash.0.12.0.b2449...
Changing ownership to redash...
Linking .env file...
Installing new Python packages (if needed)...
Running migrations (if needed)...
New migrations to run: 
0025_add_query_snippets_table.py, 0026_add_access_control_tables.py, 0026_remove_query_trackers_redis_key.py
Apply new migrations? (make sure you have backup) (y/n): y
Applying 0025_add_query_snippets_table.py...
Applying 0026_add_access_control_tables.py...
Applying 0026_remove_query_trackers_redis_key.py...
Linking to current version...
Restarting...
Done! Enjoy.

$ wget https://raw.githubusercontent.com/getredash/redash/master/bin/upgrade

--2017-02-05 03:21:33-- https://raw.githubusercontent.com/getredash/redash/master/bin/upgrade

Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.32.133

Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.32.133|:443... connected.

HTTP request sent, awaiting response... 200 OK

Length: 7389 (7.2K) [text/plain]

Saving to: ‘upgrade’

100%[======================================>] 7,389 --.-K/s in 0s

2017-02-05 03:21:33 (134 MB/s) - ‘upgrade’ saved [7389/7389]

ubuntu@ip-172-31-20-246:~$ chmod +x upgrade

ubuntu@ip-172-31-20-246:~$ sudo ./upgrade

Starting Redash upgrade:

Found version: 0.12.0

This version has been too long in the making and now finally released. Includes new visualizations, data sources, updated packages and numerous fixes and additions.

See [CHANGELOG](https://github.com/getredash/redash/blob/master/CHANGELOG.md#v0120---2016-11-20) for full release notes.

Huge thanks to over 30 contributors (!) that participated in this release.

Continue with upgrade? (y/n): y

Downloading release tarball...

Unpacking to: redash.0.12.0.b2449...

Changing ownership to redash...

Linking .env file...

Installing new Python packages (if needed)...

Running migrations (if needed)...

New migrations to run:

0025_add_query_snippets_table.py, 0026_add_access_control_tables.py, 0026_remove_query_trackers_redis_key.py

Apply new migrations? (make sure you have backup) (y/n): y

Applying 0025_add_query_snippets_table.py...

Applying 0026_add_access_control_tables.py...

Applying 0026_remove_query_trackers_redis_key.py...

Linking to current version...

Restarting...

Done! Enjoy.

管理ユーザーのパスワード変更

re:dashサーバにブラウザからアクセスします。

管理者の初期設定は admin/admin です。

メールアドレスを設定してパスワードを変更します。

ユーザー作成

Usersからユーザーを作成します。

/opt/redash/.env
にメールサーバ設定をすれば登録したメールアドレスにメールが送信されますが、今回は検証なので設定してません。

作成した時にパスワード設定のためのURLが表示されるのでそれを使って設定してしまいます。

MySQL on RDS 5.7

MySQL on RDS 5.7はほとんどデフォルトで作成しています。

セキュリティグループでMySQL/Aurora(3306)ポートへのアクセスは、re:dash インスタンスに設定したセキュリティグループのみにしています。

大阪市自転車窃盗データ(オープンデータ)

平成28年大阪市の犯罪発生情報から自転車盗(その1)と(その2)のCSVデータをダウンロードしました。

文字コードがSJISだったのでTextWranglerでUTF-8に変更しています。

あと、データベースではユニークIDをふりたかったので1列目にブランク列を挿入してload data local infileでre:dashサーバからMySQLへ挿入しています。

大阪市自転車窃盗データテーブル

CREATE TABLE `t_bicycle_theft` (
  `uid` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'UID',
  `city` varchar(200) DEFAULT NULL COMMENT '市区町村',
  `town` varchar(200) DEFAULT NULL COMMENT '町名',
  `street` varchar(200) DEFAULT NULL COMMENT '丁番',
  `crime` varchar(200) DEFAULT NULL COMMENT '罪名',
  `complete` varchar(200) DEFAULT NULL COMMENT '既遂未遂別',
  `process` varchar(200) DEFAULT NULL COMMENT '手口',
  `year` varchar(200) DEFAULT NULL COMMENT '年',
  `month` varchar(200) DEFAULT NULL COMMENT '月',
  `season` varchar(200) DEFAULT NULL COMMENT '時期',
  `time` varchar(200) DEFAULT NULL COMMENT '時間帯',
  `location` varchar(200) DEFAULT NULL COMMENT '発生場所',
  `age` varchar(200) DEFAULT NULL COMMENT '被害者の年齢',
  PRIMARY KEY (`uid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='自転車窃盗';

CREATE TABLE `t_bicycle_theft` (

`uid` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'UID',

`city` varchar(200) DEFAULT NULL COMMENT '市区町村',

`town` varchar(200) DEFAULT NULL COMMENT '町名',

`street` varchar(200) DEFAULT NULL COMMENT '丁番',

`crime` varchar(200) DEFAULT NULL COMMENT '罪名',

`complete` varchar(200) DEFAULT NULL COMMENT '既遂未遂別',

`process` varchar(200) DEFAULT NULL COMMENT '手口',

`year` varchar(200) DEFAULT NULL COMMENT '年',

`month` varchar(200) DEFAULT NULL COMMENT '月',

`season` varchar(200) DEFAULT NULL COMMENT '時期',

`time` varchar(200) DEFAULT NULL COMMENT '時間帯',

`location` varchar(200) DEFAULT NULL COMMENT '発生場所',

`age` varchar(200) DEFAULT NULL COMMENT '被害者の年齢',

PRIMARY KEY (`uid`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='自転車窃盗';

神戸市ロケ地データ(オープンデータ)

ロケ地情報一覧から作品別のCSVデータをダウンロードしました。

ロケ地データテーブル

CREATE TABLE `filming_location` (
  `location_id` bigint(20) NOT NULL COMMENT 'ロケ地ID',
  `area` varchar(200) DEFAULT NULL COMMENT 'エリア',
  `location_name` varchar(200) DEFAULT NULL COMMENT 'ロケ地名',
  `location_kana` varchar(200) DEFAULT NULL COMMENT 'ロケ地名よみ',
  `zip_code` varchar(200) DEFAULT NULL COMMENT '郵便番号',
  `address` varchar(200) DEFAULT NULL COMMENT '住所',
  `latitude` float(10,6) DEFAULT NULL COMMENT '緯度',
  `longitude` float(10,6) DEFAULT NULL COMMENT '経度',
  `movie_1` varchar(200) DEFAULT NULL COMMENT '撮影作品1',
  `movie_info_1` varchar(200) DEFAULT NULL COMMENT '撮影作品1_情報',
  `movie_2` varchar(200) DEFAULT NULL COMMENT '撮影作品2',
  `movie_info_2` varchar(200) DEFAULT NULL COMMENT '撮影作品2_情報',
  `movie_3` varchar(200) DEFAULT NULL COMMENT '撮影作品3',
  `movie_info_3` varchar(200) DEFAULT NULL COMMENT '撮影作品3_情報',
  `movie_4` varchar(200) DEFAULT NULL COMMENT '撮影作品4',
  `movie_info_4` varchar(200) DEFAULT NULL COMMENT '撮影作品4_情報',
  PRIMARY KEY (`location_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='撮影地';