HTMLが取得できまない

Question

下記のサイトを参考にプログラムを作成。 主に動画を見て作業しました。
http://tomoprog.hatenablog.com/entry/2016/02/13/024004

ターミナルを用いて画像の取得を行おうとしています。しかしながら該当するURLをコピーペーストしても、HTMLが取得できませんでした。URLを確認してください。と表示されてしまします。
アドバイスお願いします。

import os
import sys
import time
import bs4
import urllib.request

def crawring(url, extensions):
	"""
		Content:
			クローリング
		Param:
			url:		クローリングするURL
			extensions:	取得するリソースの拡張子(list)
	"""
	# 指定したURLのHTMLを取得
	html = get_html_string(url)
	if len(html) < 1:
		print("HTMLが取得できませんでした。")
		print("URLを確認してください。")
		sys.exit(1)

	# リソース取得
	get_resource(html, extensions)

def get_resource(html, extensions):
	"""
		Content:
			リソース取得
		Param
			html:		HTML
			extensions	拡張子のリスト
	"""

	resource_list = []

	soup = bs4.BeautifulSoup(html)
	for a_tag in soup.find_all("a"):
		href_str = a_tag.get("href")
		try:
			(path, ext) = os.path.splitext(href_str)
			if ext in extensions:
				resource_list.append(href_str)
		except:
			pass

	resource_list = sorted(set(resource_list), key=resource_list.index)
	for resource in resource_list:
		try:
			print("download ---> [%s]" % os.path.basename(resource))
			request = urllib.request.urlopen(resource)
			f = open(os.path.basename(resource), "wb")
			f.write(request.read())
		except Exception as e:
			print(e)
			print("download failed ... [%s]" % os.path.basename(resource))
		finally:
			time.sleep(3)

def get_html_string(url):
	"""
		Content:
			HTML取得
		Param:
			url	HTMLを取得するURL
	"""
	decoded_html = ""

	# HTMLを取得
	try:
		request = urllib.request.urlopen(url)
		html = request.read()
	except:
		return decoded_html

	# エンコードを取得
	enc = check_encoding(html)
	if enc == None:
		return decoded_html

	# HTMLをデコード
	decoded_html = html.decode(enc)

	return decoded_html

def check_encoding(byte_string):
	"""
		Content:
			文字コード確認
		Param:
			byte_string: バイト文字列
	"""
	encoding_list = ["utf-8", "utf_8", "euc_jp", 
					"euc_jis_2004", "euc_jisx0213", "shift_jis",
					"shift_jis_2004","shift_jisx0213", "iso2022jp",
					 "iso2022_jp_1", "iso2022_jp_2", "iso2022_jp_3",
					"iso2022_jp_ext","latin_1", "ascii"]

	for enc in encoding_list:
		try:
			byte_string.decode(enc)
			break
		except:
			enc = None

	return enc


def check_args():
	"""
		Content:
			起動引数確認
	"""
	if len(sys.argv) == 3:
		return True
	else:
		return False

def print_usage():
	print("Usage: %s URL Extensions" % __file__)
	print("URLにはクロールしたいウェブサイトのアドレスを指定してください。")
	print("Extensionsにはクロールしたときに取得するファイルの拡張子を指定してください。")
	print("Extensionsはカンマ区切りで複数指定できます。")

def main():
	"""
		Content:
			main
	"""
	# 引数確認
	if check_args() is False:
		print_usage()
		sys.exit(1)
	
	url = sys.argv[1]
	extensions = sys.argv[2].split(",")

	# クロール開始
	crawring(url, extensions)

if __name__ == "__main__":
	main()

補足情報
python3.6.6
mac OS Mojava

Comments

[coco_bauer]

「該当するURLをコピーペースト」って、何をしているのですか？　Pythonのプログラムが質問に書かれていますが、Pythonのプログラムと、URLをコピーペースト、の関係が判りません。「ターミナルを用いて画像の取得」というのも、どんな操作の事なのかが判りません。ターミナルでPythonのプログラムを実行しようとしているのですか？？？

[can110]

具体的にプログラムの実行手順と与えた引数（URLと拡張子）を追記ください。

[fdd]

URLは参考にしたサイトを指しています。pythonのプログラムはサイトに書いてあるweb_crawler.pyをさしています。web_crawler.pyにより、ターミナルから画像の取得ができると考え載せています。

[fdd]

すみません。サイトのweb_crawler.pyをコピーペーストしただけなので実行手順は分かりません。

Answer 1

作者です。

返信が遅くなりました。
2年以上前のプログラムが使われているようで嬉しいことです。

HTMLが取得できませんでした。URLを確認してください。
と表示されてしまいます。

上記のエラーが出た時にターミナルに入力したコマンドを教えていただけた方が解決が早そうです。

@firedfly さんから回答があったようですが、このプログラムは以下のように実行します。
python web_crawler.py "https://sample.com" .jpeg,.jpg
第１引数：集めたい画像が掲載されているページのURL
第２引数：集めたい画像の拡張子（カンマ区切りで複数指定できます）

プログラムでは以下の手順で画像を集めています。
0. 第１引数に指定したURLのhtmlを取得
0. htmlを解析し、aタグを集める
0. aタグのhref属性のURLに対してバイナリ形式でファイルに書き出す

上記の方法で画像ファイルを取得しているため、
aタグのhref属性に画像ファイルのURLが埋め込まれていないとうまく取得できません。

どのページにでも使えるというプログラムではなく、
ページによってはうまく取得できない場合もあるということです。

どこのサイトに対して画像を取得しようとしたのか教えていただければ、
このプログラムがこのまま使えるのか、改良が必要なのかもわかるかと思います。

また分からないことがあれば分かる範囲でお教えしますので、聞いてください。

よいプログラミングライフを！

Answer 2

こんにちは。
ブログのコメントにしか書いてないですが、下の形式で実行します。

python web_crawler.py "任意のURL" .jpeg,.jpg

python web_crawler.py "https://the-test-fun-for-friends.en.softonic.com/android?ex=BB-765.1" .jpeg,.jpg

以下、老婆心ながら忠告です。
下の認識です書きますので間違っていたら教えてください。

• fddさんはプログラムを作成していない
• 参考ブログのプログラムの実行手順がわからない

上の場合、ブログやGitHubで作成者に聞くのがいちばん良い、というのはわかりますか？
ソースコードをコピー&ペーストして「自分で作成したが、なぜか動かない」とここで質問すると
回答する側はいっしょうけんめいソースコードを解読して考えなければいけません。

以上です。