前提・実現したいこと

PythonでseleniumによりヘッドレスでChromeを操作し、任意のスプレッドシートを開く

発生している問題・エラーメッセージ

ヘッドレスでChromeを起動してスプレッドシートを開きたいのですが、ヘッドレスではない場合と比較してログイン画面が微妙に異なる画面が出てきてしまい、スクレイピングができない状態です。

ヘッドレス故にデベロッパーツールも開けず、困っています。

※ ヘッドレス/ヘッドレスでない場合の画面は後述

蛇足ですが、ヘッドレスで開く画面も手動で再現できずに困っています。
（Googleアカウント全部削除してもダメでした）

このため、

１．ヘッドレスだと異なる画面が出てくる理由
２．ヘッドレスで、そうでない場合と同じ画面を出す方法
３．ヘッドレスでもスプレッドシートを開く方法

以上三点のいずれかでもいいので、ご教示いただけますと幸いです。

該当のソースコード

１．ヘッドレス実行の場合

Python
1import chromedriver_binary
2from selenium import webdriver
3from selenium.webdriver.chrome.options import Options
4
5
6option = Options()
7option.add_argument('--headless')  # ヘッドレスモードの設定を付与
8option.add_argument('--lang=ja-JP')
9
10drv = webdriver.Chrome(options=option)
11drv.get("開きたいスプレッドシートのURL")
12
13drv.save_screenshot("画面キャプチャ.png")

キャプチャした画面は以下です。

２．ヘッドレス実行でない場合

Python
1import chromedriver_binary
2from selenium import webdriver
3from selenium.webdriver.chrome.options import Options
4
5
6drv = webdriver.Chrome()
7drv.get("開きたいスプレッドシートのURL")
8
9drv.save_screenshot("画面キャプチャ.png")

キャプチャした画面は以下です。

試したこと

ヘッドレスでない状態で起動したときの xpath や css_slector を使用して find_element_by_xpath や find_element_by_css_selector を使用して各要素を叩いてみましたが、以下エラーがでました。（ヘッドレスではない場合は普通に通る）

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"#identifierId"}
  (Session info: headless chrome=83.0.4103.116)

また、find_element_by_xpath で要素を叩く前にtime.sleepなども入れてみましたが、結果は同じでした。

補足情報（FW/ツールのバージョンなど）

開発環境は以下です。
・OS: Windows10
・言語: Python 3.6
・IDE： PyCharm COMMUNITY 2020.1.2
・ブラウザ： Google Chrome 83.0.4103.116
・ブラウザ操作：selenium 3.141.0
・chromedriver-binary：83.0.4103.39.0

otn

2020/07/12 04:38

> ヘッドレスで起動したときの xpath や css_slector を使用して > （ヘッドレスではない場合は普通に通る）両者でHTMLが異なるのでは？しかし「ヘッドレスで起動したときの xpath や css_slector を使用して」でエラーになるはずは無いので、HTMLの見誤りだと思います。

fuso

2020/07/12 04:45

申し訳ありません、誤記でしたので修正しました。　誤：ヘッドレスで起動したときの xpath や css_slector 　正：ヘッドレスでない状態で起動したときの xpath や css_slector

otn

2020/07/12 04:46

では、ヘッドレスで起動したときの xpath や css_slector を使用してやってみましょう。

CHERRY

2020/07/12 05:26

drv.save_screenshot して、異なる画面とわかっているいるのであれば、同じところで、page_source で、HTML を取得して、HTML を確認・比較すればよいのではないでしょうか？

fuso

2020/07/12 10:50

otn様 CHERRY様ご回答いただき、ありがとうございます。ヘッドレスであると何故異なる画面になるのか、理由が気掛かりですが、潔くその異なる画面で進めてみようと思います。

otn

2020/07/12 10:53

ヘッドレス以外は全く同じコードなのかと思ったら、違いますね。念のため、ヘッドレス以外は同じにしては？

fuso

2020/07/15 11:47

ご提案いただき、ありがとうございます。しかしスプレッドシートのスクレイピング自体が禁止とのことですので、これ以上の追及は差し控えさせていただきます。

行動規範の内容に同意します

回答1件

ベストアンサー

まず大前提

Googleはスクレイピングを禁止しています。
天下のGoogleがどのような技術を盛り込んでいるのかは皆目検討もつかないですが、

１．ヘッドレスだと異なる画面が出てくる理由

これを追求すること自体が(詳しく法律知らないですが)違法行為に当たる可能性があります。
もちろんこのままスクレイピングを続けることもです。

その上で

python
1print(drv.page_source)

とすると現在SeleniumからDOMがどう見えているかが表示されます。
開発者ツールが使えなくても十分に情報を得られるはずです。

起こっている事象から、headlessとそうでない時でDOMが異なるのは間違いありません。
それを利用して場合分けをしてやるといいでしょう。

python
1if len(drv.find_elements_by_hogehoge('fugafuga')) > 0:
2    # とある要素がある時の処理
3else:
4    # とあるがない時の処理

あるいは

python
1from selenium.common.exceptions import NoSuchElementException
2
3# 中略
4
5try:
6    drv.find_element_by_fugafuga('hogehoge').send_keys('hogefuga')
7    # とある要素がある時の続きの処理
8except NoSuchElementException:
9    # とある要素がない時の処理