consoleからの結果を取得する

Question

こんにちわ！

私はブラウザーのコンソールをJavascript実行して結果を取得しますが、
その流れをPythonスクリプトで実装しようとしております。
ただし、どうしてもコンソールに出力する結果を取得できませんなので、
ブラウザーのコンソール結果をPython側で取得できるかを確認したいです。
試したのは以下のようになっています。ご参考・指摘などよろしくお願いいたします。

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


proxy = 'xxxx'

options = webdriver.ChromeOptions()
# options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--proxy-server=socks5://' + proxy)
options.add_argument('--args')
# options.add_argument('--user-data-dir=custom-profile')
options.add_argument('--disable-web-security')
options.add_argument('--disable-site-isolation-trials')
options.add_argument('--auto-open-devtools-for-tabs')
d = DesiredCapabilities.CHROME

d['loggingPrefs'] = { 'browser':'ALL' }
driver = webdriver.Chrome(ChromeDriverManager().install(
), options=options, desired_capabilities=d)
url = 'xxxx'
driver.get(url)
time.sleep(5)
results = driver.execute_script('''
function aaa() {
    if (typeof (___grecaptcha_cfg) !== 'undefined') {
        let cs = []
        for (let id in ___grecaptcha_cfg.clients) {
            cs.push(id)
        }
        let res = cs.map(cid => {
            for (let p in ___grecaptcha_cfg.clients[cid]) {
                let c = {}
                cid >= 10000 ? c.version = 'V3' : c.version = 'V2'
                let path = "___grecaptcha_cfg.clients[" + cid + "]." + p
                let pp = eval(path)
                if (typeof pp === 'object') {
                    for (let s in pp) {
                        let subpath = "___grecaptcha_cfg.clients[" + cid + "]." + p + "." + s
                        let sp = eval(subpath)
                        if (sp && typeof sp === 'object' && sp.hasOwnProperty('sitekey') && sp.hasOwnProperty('size')) {
                            c.sitekey = eval(subpath + '.sitekey');
                            let cb = eval(subpath + '.callback');
                            if (cb == null) {
                                c.callback = null
                                c.function = null
                            }
                            else {
                                c.callback = subpath + '.callback'
                                cb != c.callback ? c.function = cb : c.function = null
                            }
                        };
                    };
                };
                return c
            };
        });
        return (res[0].callback)
    } else {
        return (null)
    }
};
''')
# 上記のJavascriptを取得しようとしておりますが、できますでしょうか。
print(driver.execute_script('aaa()'))
# こちらの結果出てこないんです。変数などに代入してもNoneになってしまいます。

#このように試しましたが、期待していたものが表示されなかった。
# for entry in driver.get_log('browser'):
#     print(entry)


time.sleep(10000)
driver.quit()

Answer 1

ただし、どうしてもコンソールに出力する結果を取得できませんなので、

まず「chrome」と「デベロッパーツール」は別のソフトです。
JSの[console.log]は「ブラウザ開発機能」の「コンソール画面」に表示しなさいと
「chrome」側から「デベロッパーツール」を通信した結果です。
通信しても相手がいない場合エラーとしていないので処理上問題なく動いている状態です。

この場合

	window.onload = function(){
        let messagelog = document.createElement("span");
        messagelog.id = 'messagelog';
        messagelog.style.display = 'none';
        document.body.appendChild(messagelog);

		window.console = (function(oldCons){
		    return {
		        log: function(text){
		            oldCons.log(text);
		            messagelog.innerHTML += 'log:' + text + '<br>';
		        },
		        info: function (text) {
		            oldCons.info(text);
		            messagelog.innerHTML += 'info:' + text + '<br>';
		        },
		        warn: function (text) {
		            oldCons.warn(text);
		            messagelog.innerHTML += 'warn:' + text + '<br>';
		        },
		        error: function (text) {
		            oldCons.error(text);
		            messagelog.innerHTML += 'error:' + text + '<br>';
		        }
		    };
		}(window.console));
	}

とコンソールログのイベントをハッキングしログを保存

ログがほしいなら

    function getlog() {
        return messagelog.innerText;
    }        

とでもして下さい。

追記
seleniumでロード前の取得が設定ができない場合

function init(){
...
}
init();

とでもしてURLロード後に設定して下さい
(当然ロード前のconsoleは取れませんが)

Comments

[TruoG91]

ご回答ありがとうございます。試し致します。

Answer 2

確実に言えそうなこと

execute_scriptの実行返り値を取るには、returnが必要みたいです。

-print(driver.execute_script('aaa()'))
+print(driver.execute_script('return aaa()'))

参考：Selenium自体のテストコードでの使われ方
※テストコード内でexecute_scriptの結果チェックをするテストで returnが使われています

気になったこと

※ここからは、↑の回答の過程で回答要素になりそうな気になった箇所

自環境だと、execute_scriptの実行ごとに独立しているのか、execute_script("function aaa() {...}")後にexecute_script("aaa()")をしても関数未定義になるケースがありました。
定義と実行は、1回のexecute_scriptで行ったほうが良いのかもしれません。

results = driver.execute_script('''
function aaa() {
    // 説明用なので元の中身は省略
};
return aaa();
''')

Comments

[TruoG91]

回答ありがとうございます。
ーーーーーーーーーーー
results = driver.execute_script('''
function aaa() {
// 略
};
return aaa();
''')
ーーーーーーーーー
↑のように試して、そして、「results」関数が値を渡しました。

Answer 3

※本回答はPythonがサーバサイドスクリプトとして動作している前提で回答しましたが、質問の意図とは異なる事が分かりましたので、流してください

「クライアントサイドスクリプト」と「サーバサイドスクリプト」

JavaScriptはブラウザにエンジンが内臓されていますが、Pythonはサーバで動きます。
次節で簡易説明しますが、下記キーワードを元にGoogle検索して、動きの詳細を把握してください。

• HTTP
• レスポンス
• クライアントサイドスクリプト
• サーバサイドスクリプト

Pythonでブラウザのコンソール出力値を取得する

ブラウザーのコンソール結果をPython側で取得できるかを確認したいです。

サーバがブラウザに対して出来るのは、ブラウザの通信リクエストにレスポンスを返すことだけです。
Python側でコンソールの出力結果を得るには、ブラウザに出力されたJavaScriptでコンソール結果を取得し、サーバ側に送り返す必要があります。

(1) Pythonがブラウザにレスポンスを返す
(2) JavaScriptでPythonにコンソール結果を返す
(3) Pythonで受け取る

(1) と (3) で動くPythonスクリプトは別スレッドで動きますので、注意が必要です。
(2) を行うには、console.log の関数をユーザ定義関数に書き換えて、出力後に、Fetch API等でPythonにHTTPリクエストを返すように処理を書き換える必要があります。

• Fetch API - Web API | MDN

Re: TruoG91 さん

Comments

[think49]

ああ、PythonをクライアントPCにインストールして、Google Chromeを操作しようとしているのでしょうか。
その場合はこの回答は流してください。

[TruoG91]

細かい回答ありがとうございます。Google Chromeを操作しようということです。これは参考としてありがとうございます。

[think49]

失礼しました。
親記事に質問の意図とは異なる旨の注釈を入れました。

TruoG91さんの高評価は打ち消し票でしょうか。フォローありがとうございます。