Anacondaで画像収集

http://www.htmllifehack.xyz/entry/2017/09/04/224736
こちらのサイトを見て同じコードを書いたのですが

crawler.py
1import requests
2from bs4 import BeautifulSoup
3
4URL = 'http://www.gochiusa.com/ova/'
5images = []
6
7soup = BeautifulSoup(requests.get(URL).content,'lxml')
8
9for link in soup.find_all("img"):
10    if link.get("src").endswith(".jpg"):
11        images.append(link.get("src"))
12
13for target in images:
14    resp = requests.get(target)
15    with open('img/' + target.split('/')[-1], 'wb') as f:
16        f.write(resp.content)

Traceback (most recent call last):
  File "crawler_2.py", line 14, in <module>
    resp = requests.get(target)
  File "C:\Users\Anaconda3\lib\site-packages\requests\api.py", line 72, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\Anaconda3\lib\site-packages\requests\api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\Anaconda3\lib\site-packages\requests\sessions.py", line 494, in request
    prep = self.prepare_request(req)
  File "C:\Users\sharo\Anaconda3\lib\site-packages\requests\sessions.py", line 437, in prepare_request
    hooks=merge_hooks(request.hooks, self.hooks),
  File "C:\Users\Anaconda3\lib\site-packages\requests\models.py", line 305, in prepare
    self.prepare_url(url, params)
  File "C:\Users\Anaconda3\lib\site-packages\requests\models.py", line 379, in prepare_url
    raise MissingSchema(error)
requests.exceptions.MissingSchema: Invalid URL '../core_sys/images/main/ova/ticket_l.jpg': No schema supplied. Perhaps you meant http://../core_sys/images/main/ova/ticket_l.jpg?

という感じでエラーが出てしまいます

でてどうしたらいいかわかりません

未来系としてはpythonで画像をキーワードやサイトから画像を集めたいです

行動規範の内容に同意します

回答1件

ベストアンサー

画像保存フォルダとして、imgフォルダが必要です。

Python
1# -*- coding: utf-8 -*-
2import requests
3from requests.compat import urljoin
4from bs4 import BeautifulSoup
5
6URL = 'http://www.gochiusa.com/ova/'
7images = []
8
9soup = BeautifulSoup(requests.get(URL).content,'lxml')
10
11for link in soup.find_all("img"):
12    if link.get("src").endswith(".jpg"):
13        print(link.get("src"))
14        # 相対URLから絶対URLに変換
15        images.append(urljoin(URL, link.get("src")))
16
17for target in images:
18    resp = requests.get(target)
19    with open('img/' + target.split('/')[-1], 'wb') as f:
20        f.write(resp.content)

1,Pythonの例外メッセージの観方

Traceback (most recent call last):
File "crawler_2.py", line 14, in <module>
resp = requests.get(target)
～
中略
～
requests.exceptions.MissingSchema: Invalid URL '../core_sys/images/main/ova/ticket_l.jpg': No schema supplied. Perhaps you meant http://../core_sys/images/main/ova/ticket_l.jpg?

重要なのは最初の3行と最後の1行です。
最初の3行は例外が発生した場所を表し最後の1行は例外の内容を表します。
最後の1行をグーグル翻訳で翻訳すると以下の文になります。

無効なURL '../core_sys/images/main/ova/ticket_l.jpg'：スキーマは提供されていません。多分あなたはhttp：//../core_sys/images/main/ova/ticket_l.jpgを意味しましたか？

無効なURLのため、有効なURLに変換する必要があります。
相対URLから絶対URLへの変換はrequests.compat.urljoin が使用できます。

2,関数化について
不具合が発生した時に長いスクリプトだとデバックしずらいので、適度に関数化/クラス化をすることをおすすめします。

Python
1# -*- coding: utf-8 -*-
2import requests
3from requests.compat import urljoin
4from bs4 import BeautifulSoup
5
6URL = 'http://www.gochiusa.com/ova/'
7
8
9def download_images(url):
10    """
11    スクレイピング対象URLから、jpgファイル一覧URLを取得
12    :param url: スクレイピング対象URL
13    :return: yield
14    """
15    soup = BeautifulSoup(requests.get(url).content, 'lxml')
16    for link in soup.find_all("img"):
17        src_attr = link.get("src")
18        if src_attr.endswith(".jpg"):
19            print(src_attr)
20            # 相対URLから絶対URLに変換
21            yield urljoin(URL, src_attr)
22
23
24def main():
25    for target in download_images(URL):
26        resp = requests.get(target)
27        with open('img/' + target.split('/')[-1], 'wb') as f:
28            f.write(resp.content)
29
30
31if __name__ == '__main__':
32    main()
33