質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

932閲覧

リストにURLがあるのに、URLをrequests.get(url)に渡してもエラーが出てしまう。

dd_

総合スコア111

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/07/31 09:05

ある5ページの中にある
複数のURLを取得し
その複数のURLの中にある
特定のテキストを取得したいと思い
下の様なコードを書きました

python

1from bs4 import BeautifulSoup 2import requests 3 4urls = [] 5for i in range(1, 6): 6 urls.append('https://xxx.jq/page-{}'.format(i)) 7#スクレイピングしたいURLのページに番号を振り当てURLを作成。 8#urlsの中身を実行すると['https://xxx.jq/page-1', 'https://xxx.jq/page-2', 'https://xxx.jq/page-3', 'https://xxx.jq/page-4', 'https://xxx.jq/page-5'] 9 10#---------------------------------- 11# ページ内の複数のURLの取得 12 13title_urls_list = [] 14 15for url in urls: 16 r = requests.get(url) 17 soup = BeautifulSoup(r.text,'html.parser') 18 wrap = soup.find_all(class_="wrap") #取得したいURLのクラスがwrapでした 19 title_urls_list.extend([a["href"] for a in wrap]) 20 21print(title_urls_list) 22#実行するとURLがリストで表示されました。 23# -------------------------------- 24#取得したURLの中にある特定のテキストを取得 25genre_list = [] 26 27for url in title_urls_list: 28 r = requests.get(url) #ここでエラーが出ます!!! 29 soup = BeautifulSoup(r.text,'html.parser') 30 get_genre = soup.find(class_="info-box-meta-genre-list") 31 gener_list = get_genre.find_all("a") #aタグの中身のテキストを取得 32 33print(genre_list)

エラーの内容ですが、下のように出ます。

MissingSchema: Invalid URL '一番最初に取得したURL': No schema supplied. Perhaps you meant 一番最初に取得したURL?

print(title_urls_list)このコードでURLが
取得できているのが確認できるのに
r = requests.get(url)でエラーが出てしまいます。

上で二回同じコードを使ってるので
変数が原因かと思い rをvとかにしてもダメでした。

この場合どういったコードが良いでしょうか?
教えていただけると幸いです。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

a["href"]で取得したのが、相対URLだったのでは?
そうなら、urlparse.urljoin等で絶対URLに編集し直してからです。

投稿2021/07/31 10:46

otn

総合スコア84505

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問