スクレイピングで画像を集めたい

Question

スクレイピングで画像収集をしていて下記に示すようなエラーが出てしまいました.なぜかわかりません.わかる方教えてください.よろしくお願いします.

requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=8050): Max retries exceeded with url: /render.html?url=https://www.google.co.jp/search?q=Ironman&tbm=isch&ijn=0 (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000002BA29BB12E8>: Failed to establish a new connection: [WinError 10061] 対象のコンピュー ターによって拒否されたため、接続できませんでした。'))

コードを以下に示します

import json
import os
import sys
import urllib
from bs4 import BeautifulSoup
import requests,time

class Google:
    def __init__(self):
        self.GOOGLE_SEARCH_URL = 'http://localhost:8050/render.html?url=https://www.google.co.jp/search'
        self.session = requests.session()
        self.session.headers.update(
        {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:10.0) Gecko/20100101 Firefox/10.0'})

    def search(self,keyword,maximum):
        print('begin searching',keyword)
        query = self.query_gen(keyword)
        return self.image_search(query,maximum)

    #検索キーワードからクエリ付与したURLを生成
    def query_gen(self,keyword):
        #search query generator
        page = 0
        while True:
            params = urllib.parse.urlencode({
            'q':keyword,
            'tbm':'isch',#画像検索を指定
            'ijn':str(page)})
            yield self.GOOGLE_SEARCH_URL + '?' +params
            page += 1


    #画像検索のURL(query_gen)と画像取得枚数を指定
    def image_search(self,query_gen,maximum):
        #search image
        result = []
        total = 0
        while True:
            # search
            html = self.session.get(next(query_gen)).text #画像検索結果のページのhtmlを取得
            soup = BeautifulSoup(html,'lxml')
            elements = soup.select('.rg_meta.notrranslate') #指定したクラスをすべて取得
            jsons = [json.loads(e.get_text()) for e in elements] #取得したクラスから要素を取得しjsonから辞書形式に変換
            imgURLs = [js['ou'] for js in jsons] #画像のURLを取得

            # odd search result
            if not len(imageURLs):
                print('-> no more image')
                break
            elif len(imageURLs) > maximum - total:
                results += imageURLs[:maximum -total]
                break
            else:
                result += imageURLs
                total += len(imageURLs)

        print('-> found', str(len(result)), 'image')
        return result

def main():
    google = Google()
    # error
    if len(sys.argv) != 3:
        print('invalid argment')
        print('> ./image_scraip.py [target name] [download number]')
        sys.exit()
    else:
        #save location
        name = sys.argv[1]
        data_dir = 'data/'
        os.makedirs(data_dir,exist_ok=True)
        os.makedirs('data/' + name,exist_ok=True)
            #search image
        result = google.search(
        name,maximum=int(sys.argv[2])
        )

            #download
        download_error = []
        for i in range(len(result)):
            print('-> downloading image',str(i + 1).zfill(4))
            try:#画像をダウンロードしてローカルに保存
                urllib.request.urlretrive(
                result[i],data_dir + name + '/' + str(i + 1).zfill(4) + '.jpg'
                )
                time.sleep(5)
            except:
                print('--> could not download image ',str(i + 1).zfill(4))
                down_load.apped(i + 1)
                continue
        print('compelte download')
        print('|- download',len(result)-len(download_error),'images')
        print('|_ could not download ',len(download_error),'images',download_error)

if __name__ == '__main__':
    main()

また別で

import argparse
import json
import os
import urllib

from bs4 import BeautifulSoup
import requests


class Google(object):
    def __init__(self):
        self.GOOGLE_SEARCH_URL = "https://www.google.co.jp/search"
        self.session = requests.session()
        self.session.headers.update(
            {
                "User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:10.0) \
                    Gecko/20100101 Firefox/10.0"
            }
        )

    def search(self, keyword, maximum):
        print(f"Begining searching {keyword}")
        query = self.query_gen(keyword)
        return self.image_search(query, maximum)

    def query_gen(self, keyword):
        # search query generator
        page = 0
        while True:
            params = urllib.parse.urlencode(
                {"q": keyword, "tbm": "isch", "ijn": str(page)}
            )

            yield self.GOOGLE_SEARCH_URL + "?" + params
            page += 1

    def image_search(self, query_gen, maximum):
        results = []
        total = 0
        while True:
            # search
            html = self.session.get(next(query_gen)).text
            soup = BeautifulSoup(html, "lxml")
            elements = soup.select(".rg_meta.notranslate")
            jsons = [json.loads(e.get_text()) for e in elements]
            image_url_list = [js["ou"] for js in jsons]

            # add search results
            if not len(image_url_list):
                print("-> No more images")
                break
            elif len(image_url_list) > maximum - total:
                results += image_url_list[: maximum - total]
                break
            else:
                results += image_url_list
                total += len(image_url_list)

        print("-> Found", str(len(results)), "images")
        return results


def main():
    parser = argparse.ArgumentParser(argument_default=argparse.SUPPRESS)
    parser.add_argument("-t", "--target", help="target name", type=str, required=True)
    parser.add_argument(
        "-n", "--number", help="number of images", type=int, required=True
    )
    parser.add_argument(
        "-d", "--directory", help="download location", type=str, default="./data"
    )
    parser.add_argument(
        "-f",
        "--force",
        help="download overwrite existing file",
        type=bool,
        default=False,
    )

    args = parser.parse_args()

    data_dir = args.directory
    target_name = args.target

    os.makedirs(data_dir, exist_ok=True)
    os.makedirs(os.path.join(data_dir, target_name), exist_ok=args.force)

    google = Google()

    # search images
    results = google.search(target_name, maximum=args.number)

    # download
    download_errors = []
    for i, url in enumerate(results):
        print("-> Downloading image", str(i + 1).zfill(4), end=" ")
        try:
            urllib.request.urlretrieve(
                url,
                os.path.join(*[data_dir, target_name, str(i + 1).zfill(4) + ".jpg"]),
            )
            print("successful")
        except BaseException:
            print("failed")
            download_errors.append(i + 1)
            continue

    print("-" * 50)
    print("Complete downloaded")
    print("├─ Successful downloaded", len(results) - len(download_errors), "images")
    print("└─ Failed to download", len(download_errors), "images", *download_errors)


if __name__ == "__main__":
    main()

こちらを実行するとできるのですがなぜだかわかりますでしょうか?

Answer 1

これって、Googleに直接...ってことですか?

それならコーディング以前のものです。

そもそも、Googleが定めた指定のルート以外からのアクセスは禁止されているようです。

それが原因かと。

いわゆる不正アクセスを禁止するための処置だと思います。

Comments

[Mr_K]

https://qiita.com/naz_/items/efc296ae1bf0e62f6704
これを参考にしたコードを真似たコードが,私が参考にしているコードだと思われるのですが,上記URLにあるコードを実行するとスクレイピングできるのですがそれはまた異なる話でしょうか?

[maisumakun]

Google の利用規約では、どのような種類かに関わらず、自動化されたクエリを Google から明示的な許可を事前に得ずに Google のシステムに送信することは禁止されています。

https://support.google.com/webmasters/answer/66357

（技術的にできるかできないかと、Googleがそれを認めるかはまた別問題です）

[BeatStar]

(まぁ、ちょっと前に私も知らずにやろうとして、「ダメ」ってことがわかったのでやめましたが...)

[Mr_K]

APIを取得しなくてはならないということですね??

[BeatStar]

Google側が用意したアクセス経路( 例えば API だったり、ブログとかのサイトによくついている「サイト内検索」的なものもかな? そういうやつ。公式のやつね。 )であれば、OKです。

ただし、今回のように、スクレイピングとかは不正アクセスとみなされかねないので、
よろしくない。

ましてGoogleが「ダメ」って言っているんだから...

なので、公式で許可されている APIとかを使ってください。
(ただし私は使ったことがない...)

[質問者さん宛て]
>> APIを取得しなくてはならないということですね??
ええ。そうです。APIはさすがに不正アクセスにならないと思います。
(外部向けの公開だし、公式だから。)

[Mr_K]

ありがとうございます
今後の知見にしたいと思います

Answer 2

#すでに回答がついている通りそもそもルール的に駄目なのですが、

アクセスしようとして失敗しているのはhttp://localhost:8050/render.htmlなるものなのでは？　これが何なのかは質問者さんのみぞ知るということだと思いますが、localhostで何らかのwebアプリケーションっぽいものを走らせて、そこを介してクローリングする仕組みなのでしょう。

#直せばできるかもしれないけど、だとしてもやっちゃ駄目です。