質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

2328閲覧

スクレイピングしたい...

zdadadadadadadz

総合スコア11

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2018/07/23 02:51

編集2018/08/29 11:01

pythonでスクレイピングについて学習しています。
先日こちらのサイトで大変参考になる解答をしていただいたのですがどうしても自分の抜き出したい情報を抜き出す方法がわからなかったので再び質問させていただきます。
スクレイピングで抜き出すためのURLは以下の通りです。
https://movies.yahoo.co.jp/review/
このサイトはヤフー映画のユーザーを閲覧できるサイトなのですがトップである新着ユーザーレビューのページでは各映画に対するレビューが途中までしか表示されていません。前回解答いただいたコードでトップページに表示されたいるユーザーレビューは抜き出せるのですがレビュー全文を抜き出せません。
レビューの全文を抜き出すにはほかにURLをたどって、たどった先のURLもコードに書き込む必要があるのでしょうか?

import urllib.request from bs4 import BeautifulSoup url = 'https://movies.yahoo.co.jp/review/' ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) '\ 'AppleWebKit/537.36 (KHTML, like Gecko) '\ 'Chrome/55.0.2883.95 Safari/537.36 ' req = urllib.request.Request(url, headers={'User-Agent': ua}) html = urllib.request.urlopen(req) soup = BeautifulSoup(html, "html.parser") reviews = soup.find_all("p",text=True, class_="text-xsmall text-overflow clear no-space-bottom" ,) for review in reviews: r = review.string print(r.replace(' ','')) un_reviews = soup.find_all("p", class_="text-xsmall clear") for un_review in un_reviews: u_r = un_review.string print(u_r.replace(' ',''))

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

新着ユーザーレヴューのページから各レヴューのURLを取得して、各URLに対してリクエストをして、レヴューを取得するようにします。
1つの文字列として取得しています。
改行が必要な場合は<br>タグを変換すれば可能かと思います。

python

1import requests 2from bs4 import BeautifulSoup 3 4URL = "https://movies.yahoo.co.jp/review/" 5BASE_URL = "https://movies.yahoo.co.jp" 6 7soup = BeautifulSoup(requests.get(url=URL).content, "lxml") 8 9links = soup.find_all("a", class_="listview__element--right-icon") 10 11review_urls = [] 12for link in links: 13 review_urls.append(f"{BASE_URL}{link.get('href')}") 14 15results = [] 16for review_url in review_urls: 17 soup = BeautifulSoup(requests.get(url=review_url).content, "lxml") 18 results.append(soup.find("p", class_="text-small text-break text-readable p1em").text.strip()) 19 20[print(result) for result in results]

投稿2018/07/23 09:17

crimnut

総合スコア380

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

zdadadadadadadz

2018/07/24 07:22

大変参考になりました!!ありがとうございます(^^♪
crimnut

2018/07/24 07:50

書き忘れていたのですが、すべての新着ユーザーレヴューページに対してリクエストしてスクレイピングをする場合、time.sleep()を使うなどしてアクセスの間隔を数秒程度空けるようにしてくださいね。
zdadadadadadadz

2018/07/25 13:25

ありがとうございます! 引き続きがんばって勉強していきます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問