HTMLをダウロードするべきかどうか。

Question

プログラミング初心者です。
スクレイピング開始前に対象のHTMLを保存しようと思っています。
環境はPython + BeautifulSoup4です。

urlopen()でPython上に一時的に保存をするか、urlretrieve()でhtmlファイルごとパソコンにダウンロードするかで迷っています。
私はurlretrieve()を使ったほうが良いのかなと思っています。
理由は
１　urlopen()でPython上に一時的な保存をするより解析が早くなると思ったから
２　何度も解析を行うと対象のサイトに迷惑なので、2回目以降はパソコン上に保存したhmtlを解析するべきだと思ったから
今回お聞きしたいことは2点あります。
１　urlopenで開いたhtmlと、パソコン上に保存したhtmlでは解析速度は異なるのでしょうか？
２　urlretrieveでダウンロードすると何かの法律にひっかかる可能性はあるでしょうか？
お願いします。

Answer 1

これは言語に限らずですが原則的にスピードの点で言えばメモリの読み込みの方が絶対に早くなります。

urlopenは「メモリに読み込み」します。
（その後保存することがありますがそれならurlretrieveで良いわけですが）

urlretrieveは「ファイルとしてPCへ保存」します。

ですので解析速度って言う意味ではどのみちメモリへ読み込む必要があるので最初からメモリに読み込んだ方が早くなるのが普通だと思います。
最初からメモリに読む際はサーバから落とすわけですから、そこのダウンロード速度は考慮しない場合です。

ただ質問者さんがおっしゃってるように次回解析を読み込まずに行いたいと言う要望ならまた話は別ですが、結局は頻度の問題では無いでしょうか？
二度目を読み込むことがほぼ無いなら保存しておく意味も無いので毎回読んだ方が良いでしょうしね。

HTMLをダウンロードすること自体は法に触れるようなことはないでしょう。
元々全てのPCやモバイル機器でも結局ダウンロードして解析して表示しているわけですから。

問題になるのはそのHTMLを解析した物をどう使うか次第だと思いますよ。

Comments

[mathing]

landy77さん。
ご回答ありがとうございます。
最初からメモリに読み込むほうが早かったのですね。
教えてくださった様に解析を行う頻度で使い分けを行いたいと思います。
HTMLに関してですがブラウザで表示する際にもダウンロードを行っていたのですか、知りませんでした。
HTMLについても調べてから実行したいと思います。ありがとうございました。

Answer 2

1,解析速度というのがどこからどこまでの話の話かで回答が変わりますが。

相手サイト == [internet] ==> 自分のパソコン ===> メモリ上の内容を元にBeautifulSoup4で解析

2回目以降の場合、internetを経由しない分だけキャッシュを使った方が早くなります。

2,urlretrieveでダウンロードすると何かの法律にひっかかる可能性はあるでしょうか？
urlretrieveというより、ダウンロード違法化法とダウンロードデータをネットで公開したり商用利用した時に問題が発生するかと。

■キャッシュの全般的な注意点として2点あります。
1,キャッシュ対象のコンテンツは頻繁に更新されないものであること。
2,キャッシュの有効期間を決める。

参考までにライブラリのrequestsパッケージとThreadPoolExecutorを使った簡易なキャッシュファイルの作成コードを添付しておきます。
大体こういう処理が必要と思って頂ければ。。。

# -*- coding: utf-8 -*-
import time
import hashlib
from concurrent.futures import ThreadPoolExecutor, as_completed
from pathlib import Path
import requests


class Downloader(object):
    def __init__(self):
        self.download_dir = Path(r'./download')
        if not self.download_dir.exists():
            self.download_dir.mkdir()
        self.timeout = 2000

    @staticmethod
    def hash_value(url):
        h = hashlib.sha512()
        h.update(url.encode('utf-8'))
        return '$6$$' + h.hexdigest()

    def get_content(self, url):
        file = self.download_dir.joinpath(Downloader.hash_value(url))
        if file.exists():
            with file.open('rb') as f:
                return f.read()
        # sleep
        time.sleep(5)
        res = requests.get(url, timeout=self.timeout)
        with file.open('wb') as f:
            f.write(res.content)
        return res.content


def main():
    dl = Downloader()
    urls = ['http://www.example.com/',
            'https://teratail.com/',
            'https://teratail.com/questions/109282',
            'https://www.google.co.jp/']

    with ThreadPoolExecutor(max_workers=2) as executor:
        future_to_url = {executor.submit(dl.get_content, url): url for url in urls}
        for future in as_completed(future_to_url):
            url = future_to_url[future]
            try:
                data = future.result()
                print(data)
            except Exception as ex:
                print('url:{0} exception:{1}'.format(url, ex))


if __name__ == '__main__':
    main()

Comments

[mathing]

umyuさん。
ご回答ありがとうございます。
質問に答えてくださるだけでなくコードまでいただき、どうもありがとうございました。
キャッシュに関する知識がありませんでしたので助かりました。
プログラミング前にしっかりと確認をとり実行したいと思います。