【Python】webスクレイピングするブラウザをchromeに指定したい

Question

Pythonでwebスクレイピングをしています。

以下のコードでwebサイトのHTMLを取得しているのですが、情報を取ってくるブラウザがedgeになっているようです。
これをchromeにしたいのですがそういうことは可能でしょうか？

import requests, bs4

res = requests.get(URL) #URLを指定
soup = bs4.BeautifulSoup(res.text, "html.parser")

Answer 1

ウェブサーバー上のプログラムは、アクセスしてきたブラウザの種類をUser-Agentというリクエストヘッダを元に推測しています。ChromeとEdgeでUser-Agent文字列が異なりますので、違う結果を返すことが可能です。

requests.getでアクセスした場合は、「一般のブラウザでなくPythonのrequestsライブラリからのアクセスである」旨の文字列が送られます。それをどう解釈するかはサーバー側のプログラムの判断です。

requestsライブラリでも自分でUser-Agent文字列を設定できるはずなので、Chromeと同じ文字列にすれば同じ結果が帰ってくるかも知れません。User-Agent以外も判断材料にしている場合は同じにならないかも知れません。

別解としては、requestsライブラリでなくSeleniumライブラリを使って、Chomeブラウザにリクエストさせて応答を得るという方法もあります。

Comments

[mappys]

回答ありがとうございます！提案していただいた別解で試してみようと思います。ありがとうございました。

Answer 2

Chromeの方にとある設定をしておりまして、edgeと表示される内容が若干異なっています。

requestsはPythonの機能であって、ChromeもEdgeも無関係です。

Comments

[mappys]

なるほどそうなんですね、回答誠にありがとうございます！