【python】データフレームに欲しいデータが入りません。

Question

前提・実現したいこと

pythonで「じゃらん」の口コミをスクレイピングしようとしているのですが、データフレームが空になってしまいます。データが表示されるようにするにはどうしたらよいでしょうか。

sns.countplot('sex', data = data)を実行すると、以下のようなメッセージが表示されます。

ValueError: min() arg is an empty sequence

また、print(data)で内容を確認したところ、

Empty DataFrame
Columns: [sex, age, value, date, trip, price]
Index: []

と表示され、データが入っていないようです。
初学者ですが、ご教授願います。

コードはhttps://www.acceluniverse.com/blog/developers/2020/01/post-36.htmlから拝借しました。

発生している問題・エラーメッセージ

ValueError: min() arg is an empty sequence

該当のソースコード

from bs4 import BeautifulSoup
import urllib
import pandas as pd 
import requests
import seaborn as sns

html = requests.get('取得したい観光地の口コミURL')
soup = BeautifulSoup(html.content,'html.parser')

url_list = ['口コミページのURL',
            '***']

valuer = []
for row in url_list:
  row = str(row)
  html = urllib.request.urlopen(row)
  soup = BeautifulSoup(html)
  valuer.append(soup.find_all("span", class_='jlnpc-kuchikomi__cassette__user__name'))
  continue
valuer_list = valuer[0]+valuer[1]+valuer[2]
new_valuer_list = []
for row in valuer_list:
  row = str(row)
  new_valuer_list.append(row.split('（',1).split('）',0))

data = pd.DataFrame()
sex = [] 
age = [] 
for row in new_valuer_list:
  row = str(row)
  sex.append(row.split(' / ')[0])
  age.append(row.split(' / ')[1])
new_age = []
for row in age:
  row = str(row)
  new_age.append(row.replace("代","'s")) 
data['sex'] = sex
data['age'] = new_age

value = []
for row in url_list:
    row = str(row)
    html = urllib.request.urlopen(row)
    soup = BeautifulSoup(html)
    value.append(soup.find_all("span", class_='jlnpc-kuchikomi__cassette__rating__em'))
    continue
value = value[0]+value[1]+value[2]
new_value = []
for row in value:
    row = str(row)
    new_value.append(row.split('')[1].split('')[0])
data['value'] = new_value

data['sex'].value_counts()

sns.countplot('sex', data = data)

試したこと

URLに問題があることを疑いましたが、別のURLで試しても同じエラーが出ました。

補足情報（FW/ツールのバージョンなど）

Comments

[y_waiwai]

どこの行でそのエラーが出るんでしょうか

[hunimojiko]

分かりにくい箇所があり失礼しました。
「該当のソースコード」の一番最後、
sns.countplot('sex', data = data)
で、
ValueError: min() arg is an empty sequence
が出ます。
質問の方も修正しました。

[melian]

valuer.append(soup.find_all("span", class_='jlnpc-kuchikomi__cassette__user__name'))
としている箇所がありますが、おそらく、class名に jlnpc-kuchikomi__cassette__user__name を持つ span タグが無いのだと思います。スクレイピング対象の URL の HTML コードを確認してみて下さい。

Answer 1

from bs4 import BeautifulSoup
import urllib
import pandas as pd 
import requests
import seaborn as sns
from matplotlib import pyplot as plt
import re

plt.rcParams['font.family'] = 'MS Gothic'
pd.set_option('display.unicode.east_asian_width', True)

url_list = [
  'https://www.jalan.net/kankou/spt_25203cc3360049331/kuchikomi/?screenId=OUW2201',
]

valuer, rating, ws, comment = [], [], [], []
for row in url_list:
  html = urllib.request.urlopen(row)
  soup = BeautifulSoup(html)
  # 性別・年齢
  valuer.extend(soup.find_all('div', class_='item-user'))
  # レーティング
  rating.extend(soup.select('div[class="item-info"] > div > span[class="reviewPoint"]'))
  # 行った時期(年月のみ)、滞在時間
  ws.extend(soup.select('ul[class="item-reviewDetail"]'))
  # コメント
  comment.extend(soup.select('div[class="item-info"] > div[class="item-reviewText"]'))

# 性別・年齢
gender, age = [], []
for v in valuer:
  m = re.search(r'([男女]性)\s*[/／]\s*(.+?)\s*代', v.get_text().strip())
  if m:
    gender.append(m[1])
    age.append(m[2] + "'s")

# レーティング
rating = [float(d.get_text()) for d in rating]

# 行った時期(年月のみ)、滞在時間
went, stay = [], []
for i in ws:
  t = i.get_text()
  went.append(
    re.search(r'行った時期：\s*(\d+年\d+月)', t)[1]
    if '行った時期：' in t else '')
  stay.append(
    re.search(r'滞在時間：(.+?)\s*\n', t)[1]
    if '滞在時間：' in t else '')

# コメント
comment = [c.get_text().strip() for c in comment]

# create a Pandas dataframe    
data = pd.DataFrame({
  '性別': gender, '年齢': age, 'レーティング': rating,
  '行った時期': went, '滞在時間': stay, 'コメント': comment
})

print(data.to_markdown(index=False))

#print(data['性別'].value_counts())
#print(data['年齢'].value_counts())
#print(data['レーティング'].value_counts())

#sns.countplot('性別', data=data)
#sns.countplot('年齢', data=data, order=data['年齢'].sort_values().unique())
#sns.countplot('レーティング', data=data)

性別	年齢	rating	行った時期	滞在時間	コメント
女性	60's	4	2020年11月	1〜2時間	お土産屋さんがいっぱいあって目移りしてし ...
女性	40's	4	2021年12月		下町散歩はとても楽しかったです。ガラス館 ...
女性	20's	4	2021年9月		今回は恋人と訪れました。名前の通り黒壁！ ...
女性	50's	3	2021年11月	1〜2時間	ガラス館を中心にスイーツを食べ歩きして来 ...
女性	40's	4	2020年11月	1〜2時間	のんびり歩くには丁度よい町で、美味しいお ...
女性	50's	4	2021年8月	1時間未満	改装されていましたが、以前とあまり変わっ ...
男性	60's	3	2021年8月		あいにくの雨模様でしたが人手が多く人気が ...
女性	50's	4	2021年8月	1〜2時間	人は結構いました。半年前にも訪問してその ...
女性	50's	4	2021年7月		昔ながらの建物が残っている。とても　貴重 ...
女性	40's	3	2021年8月	1時間未満	暑いので店内に入れるお店でランチを済ませ ...

Comments

[hunimojiko]

回答ありがとうございます。コードと結果まで載せていただいて、大変助かります。おかげで理解できました。
ただ、再度の質問で申し訳ありませんが、今回スクレイピングしようとしている「じゃらん」のサイトは少し仕様が異なり、取得したいデータを含む〈span〉タグにクラス名がついていない場合、例えば、
<p class="item-name iconMedal-regular">
<a href="https://www.jalan.net/user/FBB0016158EHI/mypage/">雪だるまさん</a>
<span>女性／40代</span>
</p>
の中の「女性」「40代」というデータを同じように取得することはできますか？

[melian]

valuer.extend(soup.find_all('span', class_='c-label'))
を
valuer.extend(soup.find_all('p', class_='item-name iconMedal-regular'))
に変更、
m = re.match(r'([男女]性)\s*/\s*(.+)\s*代', v.get_text().strip())
を
m = re.match(r'([男女]性)\s*[/／]\s*(.+)\s*代', v.get_text().strip())
に変更すれば上手く行くかもしれません。具体的な URL を教えていただければこちらでも動作確認をすることができます。

[hunimojiko]

ありがとうございます。
サイトは、
https://www.jalan.net/kankou/spt_25203cc3360049331/kuchikomi/?screenId=OUW2201
です。お手数をおかけしますがお願いできますでしょうか。私自身でもやってみます。

[melian]

回答のコードを修正しましたので確認してみて下さい。

[hunimojiko]

ありがとうございます。データを取り出すことができました。
先にに言うべきでしたが、今回、この他に「行った時期(年月のみ)」「滞在時間」「誰と（友達同士かどうかなど）」「コメント」を取り出そうと思っておりますが、苦戦しております。卒論でpythonを扱うようになったため、勉強不足かつ何度も恐縮ですがご教授願います。よろしくお願いいたします。

[melian]

「誰と（友達同士かどうかなど）」はどこを見ればよいのか判りませんでした。「滞在時間」は記載のない人がいるので、その場合は空欄にしています。

[hunimojiko]

何度も答えていただきありがとうございます。大変助かりました。「誰と」は必ずしも必要ではないので余裕があれば自分でやってみようと思います。