質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

HTTP

HTTP(Hypertext Transfer Protocol)とはweb上でHTML等のコンテンツを交換するために使われるアプリケーション層の通信プロトコルです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

CSS

CSSはXMLやHTMLで表現した色・レイアウト・フォントなどの要素を指示する仕様の1つです。

Q&A

解決済

1回答

8382閲覧

スクレイピングのHTTP Error 403: Forbiddenとcssの指定について

mi2

総合スコア63

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

HTTP

HTTP(Hypertext Transfer Protocol)とはweb上でHTML等のコンテンツを交換するために使われるアプリケーション層の通信プロトコルです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

CSS

CSSはXMLやHTMLで表現した色・レイアウト・フォントなどの要素を指示する仕様の1つです。

0グッド

0クリップ

投稿2019/04/01 08:25

前提・実現したいこと

https://teratail.com/questions/151351を参考に、公式サイトから車の名前や関連情報をスクレイピングしたいです。アウトプットイメージとしては以下の通りです。

フィット コンパクト ハイブリッド/ガソリン ¥1,428,840~ FF/4WD
5列×データ数分

問題

① HTTP Error 403: Forbiddenについて

import csv
import urllib
from bs4 import BeautifulSoup

取得先URL
url = 'https://www.honda.co.jp/auto-lineup/'
html = urllib.request.urlopen(url).read()# ①のエラーです。
soup = BeautifulSoup(html, 'html.parser')

このエラーの納得のいく回答が得られませんでした。
これはどのようなときに出るエラーでどのように回避するのがベストプラクティスなのでしょうか。

② soup.select()の中身がうまく対応しない。

一旦、Firefoxに偽装するとアクセス出来るという記事を見たので

url = "http://www.thebestschools.org/features/richest-universities-endowments-generosity-research/"
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
}
上記をコードに噛ませ、div.list-item-wrapperに対応させてHPのElementsからlineup-result-articleを指定しましたが、soup.select('div.list-item-wrapper')では中身が存在しますがsoup.select('lineup-result-article')では中身が存在しません。
この辺りを色々と調べているうちにcssの選択の方法や、上記サイトに応用する方法のイメージが湧かなくなってしまっています。

環境

windows
python3.6.5
(anacondaにて構築)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

これはどのようなときに出るエラーでどのように回避するのがベストプラクティスなのでしょうか。

サイト側がアクセスを拒否する設定にしていることを意味します。

具体的にいうと、こちらが送信した HTTP リクエストに対して、Web サーバソフトウェアが 403 エラーを返しています。
原因としては、requests モジュールで web ページにアクセスした際に、ブラウザでアクセスしたときに通常あるはずの HTTPヘッダ の「Referer」「User-Agent」などの情報が欠落しているため、サーバーソフトが403エラーを返しているのではないでしょうか。
「Referer」「User-Agent」などをブラウザと同じように設定してあげれば、取得できる可能性もありますが、サーバー運営者でないとどのような条件で設定しているのかわからないので、こうすれば確実にできるということは言えません。

403 Forbidden - HTTP | MDN

soup.select('div.list-item-wrapper')では中身が存在しますがsoup.select('lineup-result-article')では中身が存在しません。

lineup-result-article という CSS セレクタは存在しません。
lineup-result-article というクラスを持つ要素を選択する CSS セレクタは .lineup-result-article です。

classセレクタ(クラスセレクタ)

投稿2019/04/01 09:11

tiitoi

総合スコア21954

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問