質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.43%

  • Python

    9773questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • 機械学習

    799questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • Anaconda

    206questions

AttributeError: 'NoneType' object has no attribute 'decode'

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 71

fdd

score 5

下記の質問者さんと同じ内容のプログラムを作成しようとしています。
https://teratail.com/questions/152091

しかし、AttributeError: 'NoneType' object has no attribute 'decode'が
表示されてしまい進みません。アドバイスお願いします。

import os
import sys
import traceback
from mimetypes import guess_extension
from time import time, sleep
from urllib.request import urlopen, Request
from urllib.parse import quote
from bs4 import BeautifulSoup

#任意のメールアドレス
#ツールを使ってダウンロードするときのマナーみたい
MY_EMAIL_ADDR = '@.com'

class Fetcher:
    def __init__(self, ua=''):
        self.ua = ua

    def fetch(self, url):
        req = Request(url, headers={'User-Agent': self.ua})
        try:
            with urlopen(req, timeout=3) as p:
                b_content = p.read()
                mime = p.getheader('Content-Type')
        except:
            sys.stderr.write('Error in fetching {}\n'.format(url))
            sys.stderr.write(traceback.format_exc())
            return None, None
        return b_content, mime

fetcher = Fetcher(MY_EMAIL_ADDR)

def fetch_and_save_img(num):
    num_self = num
    #dataというディレクトリが作られる
    data_dir = './image/enjyeruroad/'
    if not os.path.exists(data_dir):
        os.makedirs(data_dir)

    img_urls = img_url_list(num_self)[0]
    num_self2 = img_url_list(num_self)[1]
    s = num_self2 - 21

    for i, img_url in enumerate(img_urls):
        sleep(0.1)
        img, mime = fetcher.fetch(img_url)
        if not mime or not img:
            continue
        ext = guess_extension(mime.split(';')[0])
        if ext in ('.jpe', '.jpeg'):
            ext = '.jpg'
        if not ext:
            continue
        result_file = os.path.join(data_dir, str(s) + ext)
        with open(result_file, mode='wb') as f:
            f.write(img)
        s += 1
        print('fetched', img_url)

    if len(img_url) != 0:
        fetch_and_save_img(num_self2)

def img_url_list(num):
    url = 'https://search.yahoo.co.jp/image/search?p=エンジェルロード&oq=&ei=UTF-8&xargs=2&b={}'.format(num)
    byte_content, _ = fetcher.fetch(url)
    soup = BeautifulSoup(byte_content.decode('UTF-8'), 'html.parser')

    img_elems = soup.select('a[target=imagewin] > img')
    print(img_elems)

    img_urls = [e['src'] for e in img_elems]
    print(img_urls)

    return img_urls, num + 20

if __name__ == '__main__':
    # word = sys.argv[1]
    # fetch_and_save_img(word)
    num = 1
    fetch_and_save_img(num)

下記がエラーコードです。

エラーコード
runfile('/Users/nakayakenta/get_images_yahoo.py')
Error in fetching https://search.yahoo.co.jp/image/search?p=エンジェルロード&oq=&ei=UTF-8&xargs=2&b=1
Traceback (most recent call last):
  File "/Users/nakayakenta/get_images_yahoo.py", line 21, in fetch
    with urlopen(req, timeout=3) as p:
  File "/Users/nakayakenta/anaconda3/lib/python3.7/urllib/request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/urllib/request.py", line 525, in open
    response = self._open(req, data)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/urllib/request.py", line 543, in _open
    '_open', req)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/urllib/request.py", line 503, in _call_chain
    result = func(*args)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/urllib/request.py", line 1360, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/urllib/request.py", line 1317, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "/Users/nakayakenta/anaconda3/lib/python3.7/http/client.py", line 1229, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/http/client.py", line 1240, in _send_request
    self.putrequest(method, url, **skips)
  File "/Users/nakayakenta/anaconda3/lib/python3.7/http/client.py", line 1107, in putrequest
    self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 20-27: ordinal not in range(128)
Traceback (most recent call last):

  File "<ipython-input-12-d5a5d83e6f61>", line 1, in <module>
    runfile('/Users/nakayakenta/get_images_yahoo.py')

  File "/Users/nakayakenta/anaconda3/lib/python3.7/site-packages/spyder_kernels/customize/spydercustomize.py", line 668, in runfile
    execfile(filename, namespace)

  File "/Users/nakayakenta/anaconda3/lib/python3.7/site-packages/spyder_kernels/customize/spydercustomize.py", line 108, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "/Users/nakayakenta/get_images_yahoo.py", line 79, in <module>
    fetch_and_save_img(num)

  File "/Users/nakayakenta/get_images_yahoo.py", line 39, in fetch_and_save_img
    img_urls = img_url_list(num_self)[0]

  File "/Users/nakayakenta/get_images_yahoo.py", line 65, in img_url_list
    soup = BeautifulSoup(byte_content.decode('UTF-8'), 'html.parser')

AttributeError: 'NoneType' object has no attribute 'decode'

補足情報(FW/ツールのバージョンなど)
python3.6.6
mac OS Mojava

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

URL に ascii 文字以外 (日本語) を使用しているため、urlopen() が失敗しているのが原因です。
URL エンコードされた文字列を URL に使用してください。上記の例でいうと、以下になります。

https://search.yahoo.co.jp/image/search?p=%E3%82%A8%E3%83%B3%E3%82%B8%E3%82%A7%E3%83%AB%E3%83%AD%E3%83%BC%E3%83%89&oq=&ei=UTF-8&xargs=2&b={}

Chrome ですと、URLバーには日本語はデコードされた状態で表示されますが、コピーすると上記のようなエンコードされた URL となっているはずです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/01/07 13:36

    ありがとうございます。解決しました。実行してみた結果、長時間プログラムが動いていました。途中で止めたんですけど、このプログラムはどのくらい画像を集められるのでしょうか?

    キャンセル

  • 2019/01/07 13:39

    動かしてはないですが、おそらく検索結果の1ページ目の画像全部をダウンロードするものと思われます。

    キャンセル

同じタグがついた質問を見る

  • Python

    9773questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • 機械学習

    799questions

    機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

  • Anaconda

    206questions