Bing search APIとpythonのrequestsを用いた画像自動取得で、保存先フォルダへの画像の書き出しに失敗してしまいます

Question

機械学習による画像認識をやってみようと、素材とする画像の自動収集に取り組んでいます。
Bing SearchのAPIを取得し、以下のページのコードを参考に画像を自動でダウンロードしようとしたのですが、
画像の保存先フォルダへの書き出しで失敗しているようで、正しく保存ができていない状況です。
次に記載しているコードは以下のページに掲載されているものをほぼそのまま使用しています。
https://qiita.com/m-shimao/items/74ee036fff8fac01566e

実行したいことはbing search APIを使い、「猫」というキーワードで検索してOUTPUTで指定したディレクトリに画像を保存というところまでです。
OSはwindowsで、コードはjupyter notebookを使って実行しています。

from requests import exceptions
import argparse
import requests
import cv2
import os

API_KEY = "Bing SearchのAPIキー"
MAX_RESULTS = 100
GROUP_SIZE = 50

# エンドポイントURL
URL = "https://api.bing.microsoft.com/v7.0/images/search"
OUTPUT = 'C:\Users\ユーザー名\OneDrive\ドキュメント\機械学習\画像データ\猫'

if not os.path.isdir(OUTPUT):
    os.mkdir(OUTPUT)

EXCEPTIONS = set([IOError, FileNotFoundError,
    exceptions.RequestException, exceptions.HTTPError,
    exceptions.ConnectionError, exceptions.Timeout])

term = '猫'
headers = {"Ocp-Apim-Subscription-Key" : API_KEY}
params = {"q": term, "offset": 0, "count": GROUP_SIZE, "imageType":"Photo", "color":"ColorOnly"}

# make the search
print("[INFO] searching Bing API for '{}'".format(term))
search = requests.get(URL, headers=headers, params=params)
search.raise_for_status()

# grab the results from the search, including the total number of
# estimated results returned by the Bing API
results = search.json()
estNumResults = min(results["totalEstimatedMatches"], MAX_RESULTS)
print("[INFO] {} total results for '{}'".format(estNumResults,
    term))

# initialize the total number of images downloaded thus far
total = 0

# loop over the estimated number of results in `GROUP_SIZE` groups
for offset in range(0, estNumResults, GROUP_SIZE):
    # update the search parameters using the current offset, then
    # make the request to fetch the results
    print("[INFO] making request for group {}-{} of {}...".format(
        offset, offset + GROUP_SIZE, estNumResults))
    params["offset"] = offset
    search = requests.get(URL, headers=headers, params=params)
    search.raise_for_status()
    results = search.json()
    print("[INFO] saving images for group {}-{} of {}...".format(
        offset, offset + GROUP_SIZE, estNumResults))
    # loop over the results
    for v in results["value"]:
        # try to download the image
        try:
            # make a request to download the image
            print("[INFO] fetching: {}".format(v["contentUrl"]))
            r = requests.get(v["contentUrl"], timeout=30)

            # build the path to the output image
            ext = v["contentUrl"][v["contentUrl"].rfind("."):v["contentUrl"].rfind("?") if v["contentUrl"].rfind("?") > 0 else None]
            p = os.path.sep.join([OUTPUT, "{}{}".format(
                str(total).zfill(8), ext)])

            # write the image to disk
            f = open(p, "wb")
            f.write(r.content)
            f.close()

        # catch any errors that would not unable us to download the
        # image
        except Exception as e:
            # check to see if our exception is in our list of
            # exceptions to check for
            if type(e) in EXCEPTIONS:
                print("[INFO] skipping: {}".format(v["contentUrl"]))
                continue
        # try to load the image from disk
        image = cv2.imread(p)

        # if the image is `None` then we could not properly load the
        # image from disk (so it should be ignored)
        if image is None:
            print("[INFO] deleting: {}".format(p))
            os.remove(p)
            continue

        # update the counter
        total += 1

このコードを実行すると、以下のような形で終了します。

[INFO] searching Bing API for '猫'
[INFO] 100 total results for '猫'
[INFO] making request for group 0-50 of 100...
[INFO] saving images for group 0-50 of 100...
[INFO] fetching: https://www.atpress.ne.jp/releases/83021/img_83021_2.jpg
[INFO] deleting: C:\Users\ユーザー名\OneDrive\ドキュメント\機械学習\画像データ\猫\00000000.jpg
[INFO] fetching: http://wallpaper.1-jp.com/wallpaper/19/151wallpaper-iphone6.jpg
[INFO] deleting: C:\Users\ユーザー名\OneDrive\ドキュメント\機械学習\画像データ\猫\00000000.jpg
…以降50回分繰り返し

この**「保存」→「画像が'None'だったため削除」**が検索回数分繰り返され、結局画像が一つも保存されないまま完了してしまいます。
画像のURLには正しく到達しており、保存先のパス名は問題なく作られているようなので、保存の際になぜ失敗してしまうかの対策がわからず困っております。

Answer 1

Bing search APIは有料サービスで、12ヶ月の無料アカウントもあるようですが、どちらを使っているのでしょうか。

以下を試して結果を教えてください。

#        if image is None:
#            print("[INFO] deleting: {}".format(p))
#            os.remove(p)
#            continue

というように削除する部分をコメントにして実行。

ファイルは消えずに残っているはずですので、それを画像ソフトかブラウザで表示してみる。

Comments

[mannaka]

コメントありがとうございます。APIは無料試用版、価格レベルはFreeのものを使用しています。

[ppaul]

何度もやって、月間の制限を超えているということはないですか

[mannaka]

確かにこの状態を解消しようと何度も実行はしてしまったのですが、
APIキーを取得してから初の使用がこちらで、また最初に接続に成功した時点でこの状態でしたので、その可能性は考えておりませんでした。

[mannaka]

ありがとうございます！アドバイスいただいた通り、削除に関するコードをコメントアウトして実行しますと、100枚分画像が指定したフォルダに保存できました。
画像が保存できていたものの、それが画像と認識されずに消されてしまっていたようです。