質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.42%
Visual Studio

Microsoft Visual StudioはMicrosoftによる統合開発環境(IDE)です。多種多様なプログラミング言語に対応しています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

1回答

778閲覧

画像をスクレイピングで収集、No connection adapters were found for 'data:image/のエラーの直し方について

Michiko

総合スコア8

Visual Studio

Microsoft Visual StudioはMicrosoftによる統合開発環境(IDE)です。多種多様なプログラミング言語に対応しています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2022/08/11 07:04

編集2022/08/11 07:54

前提

Visual Studio 2022
Python 3.9

実現したいこと

カリモク コモンズ トウキョウで、10代が考える「動く家」をテーマにした展示会を開催
https://www.elle.com/jp/decor/decor-interior-design/a40735952/karimoku-commons-tokyo-mobile-house22-07/

上記サイトに掲載されている写真3枚をスクレイピングで収集したいです

該当のソースコード

python

1 2 3import requests 4from bs4 import BeautifulSoup 5from pathlib import Path 6import time 7 8load_url = "https://www.elle.com/jp/decor/decor-interior-design/a40735952/karimoku-commons-tokyo-mobile-house22-07/" 9html = requests.get(load_url) 10soup = BeautifulSoup(html.content, "html.parser") 11 12out_folder = Path("download") 13out_folder.mkdir(exist_ok = True) 14 15imgs = soup.find_all("img") 16 17for img in imgs: 18 pic = requests.get(img["src"]) 19 filename = pic.split("/")[-1] 20 out_path = out_folder.joinpath(filename) 21 22with open(out_path, mode = "wb") as f: 23 f.write(pic.content) 24 25time.sleep(1) 26 27 28

発生している問題・エラーメッセージ

Message=No connection adapters were found for 'data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7' Source=C:\Users\Michiko\Desktop\app2\scraping\scraping\scraping.py スタック トレース: File "C:\Users\Michiko\Desktop\app2\scraping\scraping\scraping.py", line 18, in <module> (Current frame) pic = requests.get(img["src"])

試したこと

python

1 2mport requests 3from bs4 import BeautifulSoup 4from pathlib import Path 5import time 6 7load_url = "https://www.elle.com/jp/decor/decor-interior-design/a40735952/karimoku-commons-tokyo-mobile-house22-07/" 8html = requests.get(load_url) 9soup = BeautifulSoup(html.content, "html.parser") 10 11out_folder = Path("download") 12out_folder.mkdir(exist_ok = True) 13 14for element in soup.find.all("img"): 15 pic = requests.get("src") 16 filename = pic.split("/")[-1] 17 out_path = out_folder.joinpath(filename) 18 19with open(out_path, mode = "wb") as f: 20 f.write(pic.content) 21 22time.sleep(1) 23 24

エラーメッセージ

Message='function' object has no attribute 'all' Source=C:\Users\Michiko\Desktop\app2\PythonApplication1\PythonApplication1\PythonApplication1.py スタック トレース: File "C:\Users\Michiko\Desktop\app2\PythonApplication1\PythonApplication1\PythonApplication1.py", line 15, in <module> (Current frame) for element in soup.find.all("img"):

そのほか、HTMLのタグと属性をかえましたが、うまくいきません。
どなたかご教授いただけると嬉しいです。
よろしくお願いいたします。

追記

URLデコード: urllib.parse.unquote()など
https://note.nkmk.me/python-urllib-parse-quote-unquote/
ご回答を参考に、上記のサイトを見ながら書き換えてましたが、 同じエラーメッセージがでてしまいました。

python

1 2 3import requests 4from bs4 import BeautifulSoup 5from pathlib import Path 6import time 7import urllib 8 9load_url = "https://www.elle.com/jp/decor/decor-interior-design/a40735952/karimoku-commons-tokyo-mobile-house22-07/" 10decode_url=urllib.parse.unquote(load_url) 11html = requests.get(decode_url) 12soup = BeautifulSoup(html.content, "html.parser") 13 14out_folder = Path("download") 15out_folder.mkdir(exist_ok = True) 16 17imgs = soup.find_all("img") 18 19for img in imgs: 20 pic = requests.get(img["src"]) 21 filename = pic.split("/")[-1] 22 out_path = out_folder.joinpath(filename) 23 24with open(out_path, mode = "wb") as f: 25 f.write(pic.content) 26 27time.sleep(1) 28 29 30

エラーメッセージ

Message=No connection adapters were found for 'data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7' Source=C:\Users\Michiko\Desktop\app2\scraping\scraping\scraping.py スタック トレース: File "C:\Users\Michiko\Desktop\app2\scraping\scraping\scraping.py", line 20, in <module> (Current frame) pic = requests.get(img["src"])

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

data:で始まるURLはData URLといって、URLそのものにデータがエンコードしてあります。

そのURLがsrcに書いてある状態の場合、「別にファイルを取りに行く」という動作をさせるのが間違いで、Data URLをデコードしてデータを取得してください。

投稿2022/08/11 07:35

maisumakun

総合スコア145504

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Michiko

2022/08/11 07:55

ご回答ありがとうございます。 もともとエンコードされているURLがあるとは、知りませんでした。 デコードをしてみましたが、うまくいきません。 お忙しい中恐縮ですが、ご教授いただけると幸いです。
maisumakun

2022/08/11 08:04 編集

書き換え後のコードにも残っていますが、requests.get(img["src"])としているのが間違いです。 (もとのload_urlに対してデコード操作を行っているようですが、そちらは全く無関係です)
Michiko

2022/08/11 08:09

Data URLは画像のURLのことですね(汗) やってみます。 追記、ありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.42%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問