IPython Notebookで梅田のラーメン屋さんの統計情報を抽出するというハンズオンに行ってきました

2016/01/23 2016/09/18

IPython Notebookで梅田のラーメン屋さんの情報をWebスクレイピングして抽出して統計情報にするというハンズオンに行ってきました。

環境構築はLinux Mint 17 MATE 64bit にIPython Notebookをインストールするをご参照ください。
※Mac、Windowsでの環境はWeb検索でお願いいたします。。。。。

ハンズオン本編

Webスクレイピングに必要なライブラリをインポートします

import scrapelib
from bs4 import BeautifulSoup

import scrapelib

from bs4 import BeautifulSoup

お店ごとの要素を配列にします

URLを見れば丸わかりですがとあるサイトから情報をとっています

s = scrapelib.Scraper(requests_per_minute=10)
r = s.get('http://tabelog.com/osaka/A2701/A270101/rstLst/ramen/')
soup = BeautifulSoup(r.text, "lxml")
omises = soup.find_all("li", class_="js-cassette js-rstlst-cassete list-rst is-blocklink js-bookmark")

s = scrapelib.Scraper(requests_per_minute=10)

r = s.get('http://tabelog.com/osaka/A2701/A270101/rstLst/ramen/')

soup = BeautifulSoup(r.text, "lxml")

omises = soup.find_all("li", class_="js-cassette js-rstlst-cassete list-rst is-blocklink js-bookmark")

お店情報の要素配列をループして欲しい情報だけの配列にします

for omise in omises:
    omise_tsuika = {}
    namae = omise.find("a", class_="list-rst__rst-name-target js-click-rdlog")
    omise_tsuika["name"] = namae.string
    point_strong = omise.find_all("span", class_="list-rst__rating-val tb-rating__val tb-rating__val--strong")
    if len(point_strong) > 0:
        if(point_strong[0].string != "-"): 
            omise_tsuika["point_gokei"] = float(point_strong[0].string)
    comment = omise.find("em",class_="list-rst__rvw-count-num")
    if(comment.string != "-"):
                              omise_tsuika["comment"] = int(comment.string)
    data.append(omise_tsuika)

for omise in omises:

omise_tsuika = {}

namae = omise.find("a", class_="list-rst__rst-name-target js-click-rdlog")

omise_tsuika["name"] = namae.string

point_strong = omise.find_all("span", class_="list-rst__rating-val tb-rating__val tb-rating__val--strong")

if len(point_strong) > 0:

if(point_strong[0].string != "-"):

omise_tsuika["point_gokei"] = float(point_strong[0].string)

comment = omise.find("em",class_="list-rst__rvw-count-num")

if(comment.string != "-"):

omise_tsuika["comment"] = int(comment.string)

data.append(omise_tsuika)

データ配列を見てみます

print(data)

1 2	print(data)

こんなデータが取れました。

comment : コメント数
name : 店名
point_gokei : 評価点

Screenshot-DataSicenceStudy01-2

統計分析に必要なライブラリをインポートします

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from pandas import Series,DataFrame
import pandas as pd

%matplotlib inline

import matplotlib.pyplot as plt

import numpy as np

from pandas import Series,DataFrame

import pandas as pd

データフレームを作成します

df = DataFrame(data,
              columns=['name',
                      'point_gokei','comment'])

df = DataFrame(data,

columns=['name',

'point_gokei','comment'])

要約統計量を計算します

df.describe()

1 2	df.describe()

Screenshot-DataSicenceStudy01-3

相関係数を計算します

df.point_gokei.corr(df.comment)

1 2	df.point_gokei.corr(df.comment)

0.54091975491834943

散布図を出力します

plt.scatter(df.comment,df.point_gokei)

1 2	plt.scatter(df.comment,df.point_gokei)

Screenshot-DataSicenceStudy01 -4

面白い！

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- Python, study data, python

: 「第14回RxTStudy(Redmine勉強会)」に行ってきました

土曜日の真っ昼間に半分以上が初参加者さんで80席が満席。それだけRedmine …

: 「コミュニティリーダーズサミット in 高知 2023初鰹編」に参加しました

始まりました！今回のテーマは「旗を立てる ~Raise Your Flag~」 …

: AlexaのSmart HomeをAWSで作る方法(Alexa Day 2019でのブログ)

以下は、気になったことのメモとか感想を書いています。登壇者、発表者、主催企業な …

: Alexa Day 2018で「How do we connect VUI to the real services using serverless」を聞きました

photo by Atsushi Ando Serverless for VUI …

: Apple Silicon M1 MacBook ProにJupyter Notebookをインストールしました

Python – Jupyter NotebookをMac M1 搭 …

: 「Kansai WordPress Meetup@大阪『サイトの作り方 3種おさらい＆祝☆誕生20周年』」に参加しました

WordPress Meetupにはじめて参加しました。 WordPressの勉 …

: Developers Summit 2024「マーケットインアプローチで挑む新規プロダクトの立ち上げ」を見ました

株式会社ベリサーブ研究企画開発部サービス開発課田中志弥さんソフトウェア …

: docomo雑談APIのAPIキーを発行する

docomo雑談 APIのキー取得の方法です。 (2017年8月13日時点の情報 …

: 「Power Platform 勉強会 #1」に参加しました

大阪でPower Platform 勉強会 #1に参加しました Japan Po …

: 「JAWS-UG 名古屋 LT未経験者にも登壇して貰いたいLT会」に参加しました

SOA-C02を受験してみてアイレットの大木さん一回目不合格となったけど19 …

PREV: Linux Mint 17 MATE 64bit にTensorFlowをインストールする
NEXT: PentahoでMySQLテーブルデータソースを作成しようとした時のエラー対応

IPython Notebookで梅田のラーメン屋さんの統計情報を抽出するというハンズオンに行ってきました

ハンズオン本編

Webスクレイピングに必要なライブラリをインポートします

お店ごとの要素を配列にします

お店情報の要素配列をループして欲しい情報だけの配列にします

データ配列を見てみます

統計分析に必要なライブラリをインポートします

データフレームを作成します

要約統計量を計算します

相関係数を計算します

散布図を出力します

ad

ad

関連記事

「第14回RxTStudy(Redmine勉強会)」に行ってきました

「コミュニティリーダーズサミット in 高知 2023初鰹編」に参加しました

AlexaのSmart HomeをAWSで作る方法(Alexa Day 2019でのブログ)

Alexa Day 2018で「How do we connect VUI to the real services using serverless」を聞きました

Apple Silicon M1 MacBook ProにJupyter Notebookをインストールしました

「Kansai WordPress Meetup@大阪『サイトの作り方 3種おさらい＆祝☆誕生20周年』」に参加しました

Developers Summit 2024「マーケットインアプローチで挑む新規プロダクトの立ち上げ」を見ました

docomo雑談APIのAPIキーを発行する

「Power Platform 勉強会 #1」に参加しました

「JAWS-UG 名古屋 LT未経験者にも登壇して貰いたいLT会」に参加しました