Python 食べログの口コミ一覧を取得したい

Question

前提・実現したいこと

プログラミング超初心者です。
食べログのある1つの店舗の口コミだけをテキストとして取得したいです。

発生している問題・エラーメッセージ

口コミのテキストだけを抽出し出力するにはどうしたらいいでしょうか。

該当のソースコード

import urllib.request

url='https://tabelog.com/tokyo/A1303/A130301/13003367/dtlrvwlst/'

req=urllib.request.Request(url)
response=urllib.request.urlopen(req)
body=response.read()
body_decoded=body.decode()

lines=body_decoded.split('\n')
for line in lines:
  print(line)

補足情報（FW/ツールのバージョンなど）

windows

Answer 1

import requests
from bs4 import BeautifulSoup
import pandas as pd


url='https://tabelog.com/tokyo/A1303/A130301/13003367/dtlrvwlst/'

req=requests.get(url)
soup = BeautifulSoup(req.content, "html.parser")

l = []

comments = soup.find_all('div', class_="rvw-item__visit-contents")
for c in comments:
    date_div = c.find('div', class_='rvw-item__date')
    comment_div = c.find('div', class_='rvw-item__rvw-comment')
    l.append([date_div.find('p').text.strip(),comment_div.find('p').text.strip()])

df = pd.DataFrame(l,columns=['date','comments'])
df.head(2)

"""
date	comments
0	2020/11訪問	渋谷の名店『はやし』に初訪問。　2003年11月オープンなので気が付けば19年も経っていた（...
1	2019/08訪問	2019年8月平日12:15到着。外並び12名程。35度の灼熱の中、皆様並んでます。真夏の昼...
"""

参考：　BeautifulSoup4のチートシート(セレクターなど）

食べログはスクレイピングが禁止ではないみたいなので、とりあえずやってみました。

ソースコードを確認したところ、divでコメントが分かれていましたので、当該classをBeautifulSoupを利用して抽出しています。

soup.find_all()の結果はlistなので、forで各要素内の日付とコメント本文を空のlistに入れて行って、最後にpandasのデータフレームにしています。

必要に応じてCSV等にしてもらえればいいと思います。