質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

2555閲覧

Python Webスクレイピング 指定ページ内の画像を全て取得したい。

pythonbegginer

総合スコア25

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1グッド

1クリップ

投稿2020/03/31 04:38

編集2020/03/31 04:39

Pythonを初めて数日の初心者で、プログラミングも勉強始めたばかりです。
最終的にWebスクレイピングができるようになりたいと思っています。

検索してもわからなく、つまづいているので詳しい方教えて下さいm(__)m

※Windows10のコマンドプロンプトから実行しています。
※Webスクレイピングの規約は確認しています。

★やりたいこと★

食べログで指定したページの、料理メニューの写真を
Webスクレイピングで取得して、指定のフォルダに保存したい。

■問題■

link_url = a.attrs['href']

の部分で以下のエラーが出ます。

Traceback (most recent call last):
File "<stdin>", line 3, in <module>
KeyError: 'href'

■参考にしているサイト■
https://hashikake.com/scraping_img#source

★使用しているコード★

Python

1#●画像ファイルをダウンロードするための準備 2# ①-①.ライブラリをインポート 3import time 4import re 5import requests 6from pathlib import Path 7from bs4 import BeautifulSoup 8# ①-②.出力フォルダを作成 9output_folder = Path('C:\python\img') 10output_folder.mkdir(exist_ok=True) 11# ①-③.スクレイピングしたいURLを設定 12url = 'https://tabelog.com/tokyo/A1303/A130302/13219514/dtlmenu/' 13 14# ①-④.画像ページのURLを格納するリストを用意 15linklist = [] 16 17#●検索結果ページから画像のリンクを取り出す 18# ②-①.検索結果ページのhtmlを取得 19html = requests.get(url).text 20# ②-②.検索結果ページのオブジェクトを作成 21soup = BeautifulSoup(html, 'lxml') 22# ②-③.画像リンクのタグをすべて取得 23a_list =soup.select('div.rstdtl-menu-lst__img') 24 25# ②-④.画像リンクを1つずつ取り出す 26for a in a_list: 27# ②-⑤.画像ページのURLを抽出 28 link_url = a.attrs['href'] 29# ②-⑥.画像ページのURLをリストに追加 30 linklist.append(link_url) 31 #time.sleep(1.0) 32 33 # ③-⑦.画像ファイルの名前を抽出 34 filename = re.search(".*/(.*png|.*jpg)$",link_url) 35 # ③-⑧.保存先のファイルパスを生成 36 save_path = output_folder.joinpath(filename.group(1)) 37 time.sleep(1.0) 38 # ●画像ファイルのURLからデータをダウンロード 39 try: 40 # ④-①.画像ファイルのURLからデータを取得 41 image = requests.get(link_url) 42 # ④-②.保存先のファイルパスにデータを保存 43 open(save_path, 'wb').write(image.content) 44 # ④-③.保存したファイル名を表示 45 print(save_path) 46 time.sleep(1.0) 47 except ValueError: 48 # ④-④.失敗した場合はエラー表示 49 print("ValueError!")

宜しくお願いします。

ChaosRepainter👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

divの中にa>imgと続いているのでimgを取得します。
そこからさらにsrc内を取り出すと画像URLを取得できます。

Python

1img_list =soup.select('div.rstdtl-menu-lst__img img') 2 3# ②-④.画像リンクを1つずつ取り出す 4for img in img_list: 5# ②-⑤.画像ページのURLを抽出 6 link_url = img['src']

投稿2020/03/31 05:14

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

pythonbegginer

2020/03/31 05:29

ありがとうございます!無事できました^^
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問