BeautifulSoupでのスクレイピングでブラウザを非表示にする方法

BeautifulSoupを使用してwebスクレイピングを作成しています。
（※seleniumで元々作っていたものをBeautifulSoupへ移行する形）

seleniumではリンクを開く際にwebdriverを使用しておりまして、
BeautifulSoupではparserを使用します。

質問としてはブラウザを非表示にしたまま処理する方法です。
seleniumでは以下の通り行っていました（import省略）

python
1options = Options()
2options.add_argument('--headless')
3browser = webdriver.Chrome('/usr/local/bin/chromedriver', chrome_options=options)

ここでいうheadlessの役割を果たすのがBeautifulSoupではどのように書けばいいでしょうか。
お手数ですが、よろしくお願いいたします。

行動規範の内容に同意します

回答1件

ベストアンサー

BeautifulSoupはそもそもブラウザ上でなにかが行われるといったライブラリではありません。
requestsやurllib.request、selenium.webdriverなどで取得したソース情報を与える事で
ソース情報をパースしたり、また任意の要素を抽出したり、ソースの編集を行う事ができるというライブラリです。
そもそもブラウザが起動したりする事はありません。

python
1# requestsの場合
2response = requests.get('URL') # requestsでページ情報取得
3soup = BeautifulSoup(res.content, 'html.parser') # 取得したページ情報ソースをパース
4
5# webdriverを使用する場合
6html = driver.page_source # webdriver上で現在開いているページのソース取得
7soup = BeautifulSoup(html, 'html.parser') # 取得したソースをパース
8
9# ローカルの場合
10file = r'ファイルパス'
11soup = BeautifulSoup(open(file), 'html.parser')