質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.51%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

814閲覧

Anacondaで画像収集

sharomu

総合スコア17

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2017/11/11 15:09

http://www.htmllifehack.xyz/entry/2017/09/04/224736
こちらのサイトを見て同じコードを書いたのですが

crawler.py

1import requests 2from bs4 import BeautifulSoup 3 4URL = 'http://www.gochiusa.com/ova/' 5images = [] 6 7soup = BeautifulSoup(requests.get(URL).content,'lxml') 8 9for link in soup.find_all("img"): 10 if link.get("src").endswith(".jpg"): 11 images.append(link.get("src")) 12 13for target in images: 14 resp = requests.get(target) 15 with open('img/' + target.split('/')[-1], 'wb') as f: 16 f.write(resp.content)
Traceback (most recent call last): File "crawler_2.py", line 14, in <module> resp = requests.get(target) File "C:\Users\Anaconda3\lib\site-packages\requests\api.py", line 72, in get return request('get', url, params=params, **kwargs) File "C:\Users\Anaconda3\lib\site-packages\requests\api.py", line 58, in request return session.request(method=method, url=url, **kwargs) File "C:\Users\Anaconda3\lib\site-packages\requests\sessions.py", line 494, in request prep = self.prepare_request(req) File "C:\Users\sharo\Anaconda3\lib\site-packages\requests\sessions.py", line 437, in prepare_request hooks=merge_hooks(request.hooks, self.hooks), File "C:\Users\Anaconda3\lib\site-packages\requests\models.py", line 305, in prepare self.prepare_url(url, params) File "C:\Users\Anaconda3\lib\site-packages\requests\models.py", line 379, in prepare_url raise MissingSchema(error) requests.exceptions.MissingSchema: Invalid URL '../core_sys/images/main/ova/ticket_l.jpg': No schema supplied. Perhaps you meant http://../core_sys/images/main/ova/ticket_l.jpg?

という感じでエラーが出てしまいます

でてどうしたらいいかわかりません

未来系としてはpythonで画像をキーワードやサイトから画像を集めたいです

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

画像保存フォルダとして、imgフォルダが必要です。

Python

1# -*- coding: utf-8 -*- 2import requests 3from requests.compat import urljoin 4from bs4 import BeautifulSoup 5 6URL = 'http://www.gochiusa.com/ova/' 7images = [] 8 9soup = BeautifulSoup(requests.get(URL).content,'lxml') 10 11for link in soup.find_all("img"): 12 if link.get("src").endswith(".jpg"): 13 print(link.get("src")) 14 # 相対URLから絶対URLに変換 15 images.append(urljoin(URL, link.get("src"))) 16 17for target in images: 18 resp = requests.get(target) 19 with open('img/' + target.split('/')[-1], 'wb') as f: 20 f.write(resp.content)

1,Pythonの例外メッセージの観方

Traceback (most recent call last):
File "crawler_2.py", line 14, in <module>
resp = requests.get(target)

中略

requests.exceptions.MissingSchema: Invalid URL '../core_sys/images/main/ova/ticket_l.jpg': No schema supplied. Perhaps you meant http://../core_sys/images/main/ova/ticket_l.jpg?

重要なのは最初の3行と最後の1行です。
最初の3行は例外が発生した場所を表し最後の1行は例外の内容を表します。
最後の1行をグーグル翻訳で翻訳すると以下の文になります。

無効なURL '../core_sys/images/main/ova/ticket_l.jpg':スキーマは提供されていません。多分あなたはhttp://../core_sys/images/main/ova/ticket_l.jpgを意味しましたか?

無効なURLのため、有効なURLに変換する必要があります。
相対URLから絶対URLへの変換はrequests.compat.urljoin が使用できます。

2,関数化について
不具合が発生した時に長いスクリプトだとデバックしずらいので、適度に関数化/クラス化をすることをおすすめします。

Python

1# -*- coding: utf-8 -*- 2import requests 3from requests.compat import urljoin 4from bs4 import BeautifulSoup 5 6URL = 'http://www.gochiusa.com/ova/' 7 8 9def download_images(url): 10 """ 11 スクレイピング対象URLから、jpgファイル一覧URLを取得 12 :param url: スクレイピング対象URL 13 :return: yield 14 """ 15 soup = BeautifulSoup(requests.get(url).content, 'lxml') 16 for link in soup.find_all("img"): 17 src_attr = link.get("src") 18 if src_attr.endswith(".jpg"): 19 print(src_attr) 20 # 相対URLから絶対URLに変換 21 yield urljoin(URL, src_attr) 22 23 24def main(): 25 for target in download_images(URL): 26 resp = requests.get(target) 27 with open('img/' + target.split('/')[-1], 'wb') as f: 28 f.write(resp.content) 29 30 31if __name__ == '__main__': 32 main() 33

一番重要な点を忘れてました。
スクレイピングは相手のサイトに負荷がかからないように、requests.get(target)するときは適宜 time.sleepをいれてくださいな。

投稿2017/11/11 15:56

編集2017/11/11 16:09
umyu

総合スコア5846

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sharomu

2017/11/12 01:34

丁寧な解説ありがとうございます! 無事に解決しまた
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.51%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問