IPython Notebookで梅田のラーメン屋さんの統計情報を抽出するというハンズオンに行ってきました

2016/01/23 2016/09/18

IPython Notebookで梅田のラーメン屋さんの情報をWebスクレイピングして抽出して統計情報にするというハンズオンに行ってきました。

環境構築はLinux Mint 17 MATE 64bit にIPython Notebookをインストールするをご参照ください。
※Mac、Windowsでの環境はWeb検索でお願いいたします。。。。。

ハンズオン本編

Webスクレイピングに必要なライブラリをインポートします

import scrapelib
from bs4 import BeautifulSoup

import scrapelib

from bs4 import BeautifulSoup

お店ごとの要素を配列にします

URLを見れば丸わかりですがとあるサイトから情報をとっています

s = scrapelib.Scraper(requests_per_minute=10)
r = s.get('http://tabelog.com/osaka/A2701/A270101/rstLst/ramen/')
soup = BeautifulSoup(r.text, "lxml")
omises = soup.find_all("li", class_="js-cassette js-rstlst-cassete list-rst is-blocklink js-bookmark")

s = scrapelib.Scraper(requests_per_minute=10)

r = s.get('http://tabelog.com/osaka/A2701/A270101/rstLst/ramen/')

soup = BeautifulSoup(r.text, "lxml")

omises = soup.find_all("li", class_="js-cassette js-rstlst-cassete list-rst is-blocklink js-bookmark")

お店情報の要素配列をループして欲しい情報だけの配列にします

for omise in omises:
    omise_tsuika = {}
    namae = omise.find("a", class_="list-rst__rst-name-target js-click-rdlog")
    omise_tsuika["name"] = namae.string
    point_strong = omise.find_all("span", class_="list-rst__rating-val tb-rating__val tb-rating__val--strong")
    if len(point_strong) > 0:
        if(point_strong[0].string != "-"): 
            omise_tsuika["point_gokei"] = float(point_strong[0].string)
    comment = omise.find("em",class_="list-rst__rvw-count-num")
    if(comment.string != "-"):
                              omise_tsuika["comment"] = int(comment.string)
    data.append(omise_tsuika)

for omise in omises:

omise_tsuika = {}

namae = omise.find("a", class_="list-rst__rst-name-target js-click-rdlog")

omise_tsuika["name"] = namae.string

point_strong = omise.find_all("span", class_="list-rst__rating-val tb-rating__val tb-rating__val--strong")

if len(point_strong) > 0:

if(point_strong[0].string != "-"):

omise_tsuika["point_gokei"] = float(point_strong[0].string)

comment = omise.find("em",class_="list-rst__rvw-count-num")

if(comment.string != "-"):

omise_tsuika["comment"] = int(comment.string)

data.append(omise_tsuika)

データ配列を見てみます

print(data)

1 2	print(data)

こんなデータが取れました。

comment : コメント数
name : 店名
point_gokei : 評価点

Screenshot-DataSicenceStudy01-2

統計分析に必要なライブラリをインポートします

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from pandas import Series,DataFrame
import pandas as pd

%matplotlib inline

import matplotlib.pyplot as plt

import numpy as np

from pandas import Series,DataFrame

import pandas as pd

データフレームを作成します

df = DataFrame(data,
              columns=['name',
                      'point_gokei','comment'])

df = DataFrame(data,

columns=['name',

'point_gokei','comment'])

要約統計量を計算します

df.describe()

1 2	df.describe()

Screenshot-DataSicenceStudy01-3

相関係数を計算します

df.point_gokei.corr(df.comment)

1 2	df.point_gokei.corr(df.comment)

0.54091975491834943

散布図を出力します

plt.scatter(df.comment,df.point_gokei)

1 2	plt.scatter(df.comment,df.point_gokei)

Screenshot-DataSicenceStudy01 -4

面白い！

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- Python, study data, python

: ヤマムギ vol.8 (AWS)EC2でLinuxサーバー構築ハンズオン手順

ヤマムギとは from Mitsuhiro Yamashita 「AWSではじめ …

: JAWS PANKRATION 2021「AWS Control Towerを使用して企業コストのサンドボックスを作成と継続的アウトプットのメリット」発表しました

同時通訳配信 JAWS PANKRATION 2021 -Up till dow …

: GW勉強会を開催しました ~「AWSではじめるLinux入門ガイド」出版記念~

2020年ゴールデンウィークの5/2~5/6の午前に連続勉強会を開催しました。 …

: 第四回　八子クラウド座談会in関西　「メーカーとＩＴが急接近！？IoTってどないやねん！？」に参加しました

第四回　八子クラウド座談会in関西　「メーカーとＩＴが急接近！？IoTってどない …

: Java SE 7 Silver対策勉強をしながらメモ 2015/1/29

さて本日は少しだけですが、試験対策のメモをいつものごとくマークダウンで記載したの …

: Developers Summit 2018 「自然言語処理・機械学習を活用したファクトチェック業務の支援」を聞きました

以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容 …

: ヤマムギvol.5 「BI ファーストステップ ~re:dash , PowerBI , Google Data Studio , Wave~」を開催しました

僭越ながら主催運営していますヤマムギの第5回目勉強会「BI ファーストステップ …

: JAWS DAYSで人生が変わった話

明日はJAWS DAYS 2021です！ JAWS DAYSが変えた私の人生「 …

: LINEとAWSとTwilioとkintoneでBOTを作ってみるハンズオン (2)LambdaからSlackへ通知する2

作る部分この部分のLambdaを作成します。手順1でSlackのIncomi …

: Developers Summit 2024「LLMで切り拓く完全自動運転の道、エンジニアが創るクルマの未来」を見ました

チューリング株式会社取締役CTO 青木俊介さん「ハンドルがない乗用車」の販 …

PREV: Linux Mint 17 MATE 64bit にTensorFlowをインストールする
NEXT: PentahoでMySQLテーブルデータソースを作成しようとした時のエラー対応

IPython Notebookで梅田のラーメン屋さんの統計情報を抽出するというハンズオンに行ってきました

ハンズオン本編

Webスクレイピングに必要なライブラリをインポートします

お店ごとの要素を配列にします

お店情報の要素配列をループして欲しい情報だけの配列にします

データ配列を見てみます

統計分析に必要なライブラリをインポートします

データフレームを作成します

要約統計量を計算します

相関係数を計算します

散布図を出力します

ad

ad

関連記事

ヤマムギ vol.8 (AWS)EC2でLinuxサーバー構築ハンズオン手順

JAWS PANKRATION 2021「AWS Control Towerを使用して企業コストのサンドボックスを作成と継続的アウトプットのメリット」発表しました

GW勉強会を開催しました ~「AWSではじめるLinux入門ガイド」出版記念~

第四回　八子クラウド座談会in関西　「メーカーとＩＴが急接近！？IoTってどないやねん！？」に参加しました

Java SE 7 Silver対策勉強をしながらメモ 2015/1/29

Developers Summit 2018 「自然言語処理・機械学習を活用したファクトチェック業務の支援」を聞きました

ヤマムギvol.5 「BI ファーストステップ ~re:dash , PowerBI , Google Data Studio , Wave~」を開催しました

JAWS DAYSで人生が変わった話

LINEとAWSとTwilioとkintoneでBOTを作ってみるハンズオン (2)LambdaからSlackへ通知する2

Developers Summit 2024「LLMで切り拓く完全自動運転の道、エンジニアが創るクルマの未来」を見ました