【Python】webスクレイピングするブラウザをchromeに指定したい

Question

Pythonでwebスクレイピングをしています。

以下のコードでwebサイトのHTMLを取得しているのですが、情報を取ってくるブラウザがedgeになっているようです。
これをchromeにしたいのですがそういうことは可能でしょうか？

import requests, bs4

res = requests.get(URL) #URLを指定
soup = bs4.BeautifulSoup(res.text, "html.parser")

Comments

[maisumakun]

> 情報を取ってくるブラウザがedgeになっているようです。

どのような状況からそう判断しましたか？

[mappys]

Chromeの方にとある設定をしておりまして、edgeと表示される内容が若干異なっています。
スクレイピングを行った結果がChromeではなくedgeで検索した内容と一致していたため判明しました。

[CHERRY]

> Chromeの方にとある設定をしておりまして、edgeと表示される内容が若干異なっています。
スクレイピングを行った結果がChromeではなくedgeで検索した内容と一致していたため判明しました。

Chrome や Edge 以外でアクセスするとどうなるのですか？　　

たとえば、 Safari とか cURL とかでアクセスしたら　それぞれのアクセスを判別できるのでしょうか？

[quickquip]

> Chromeの方にとある設定をしておりまして、
手元のChromeになにか設定をしている、と読めばいいのでしょうか?
相手のWebサーバ側がChromeに対してだけ違う内容を返してくる、と読めばいいのでしょうか?

Answer 1

ウェブサーバー上のプログラムは、アクセスしてきたブラウザの種類をUser-Agentというリクエストヘッダを元に推測しています。ChromeとEdgeでUser-Agent文字列が異なりますので、違う結果を返すことが可能です。

requests.getでアクセスした場合は、「一般のブラウザでなくPythonのrequestsライブラリからのアクセスである」旨の文字列が送られます。それをどう解釈するかはサーバー側のプログラムの判断です。

requestsライブラリでも自分でUser-Agent文字列を設定できるはずなので、Chromeと同じ文字列にすれば同じ結果が帰ってくるかも知れません。User-Agent以外も判断材料にしている場合は同じにならないかも知れません。

別解としては、requestsライブラリでなくSeleniumライブラリを使って、Chomeブラウザにリクエストさせて応答を得るという方法もあります。

Comments

[mappys]

回答ありがとうございます！提案していただいた別解で試してみようと思います。ありがとうございました。

Answer 2

Chromeの方にとある設定をしておりまして、edgeと表示される内容が若干異なっています。

requestsはPythonの機能であって、ChromeもEdgeも無関係です。

Comments

[mappys]

なるほどそうなんですね、回答誠にありがとうございます！