Node.js×Playwrightスクレイピングで、一部の処理のみPython-shell経由でPythonで行いたい

Node.js×Playwrightでスクレイピングプログラムを作成したのですが、reCaptchaでスクレイピングが停止してしまい、ソルバーを探したらPythonのものしか見つかりませんでした。
(画像認識などAI関連はPythonが主流なためと思われます)

使用したいreCaptchaソルバーはこちらです。
https://pypi.org/project/solverecaptchas/
npmでも探しましたが人力ソルバーである2captchaのAPIしか見つからず、Node.jsは改めてAI関連に弱いと実感しました。

そのため、プログラムを全部Pythonで書き直すか、ソルバーのNode.js用ラッパーを自作するかを検討しましたが、どちらも膨大な時間がかかり現実的ではないため、既存のコードを生かしつつソルバー処理のみPythonで行うことにしました。

Node.jsからPythonのコードを呼び出すPython-shellでは、Node.jsからPython関数に引数を渡したり、Python関数の戻り値をNode.jsで取得したりすることが可能です。
ということは、Node.jsクラスであるPlaywright browserオブジェクトなりpageオブジェクトなりelementオブジェクトなりを、Python-shell経由でPython関数の引数としても渡せるのでしょうか？
プリミティブ型ではなくクラス型オブジェクトであっても、Node.jsにもPythonにも同じクラスが用意されているような場合はPython-shellがよしなにラップしてくれますか？

行動規範の内容に同意します

回答1件

ということは、Node.jsクラスであるPlaywright browserオブジェクトなりpageオブジェクトなりelementオブジェクトなりを、Python-shell経由でPython関数の引数としても渡せるのでしょうか？

ライブラリの公式README.mdを読め案件ですね。
勘所がわからないと結構見つけるのが大変ですので、今回は一緒に読んでいきましょう。

まずは上の日本語の記事でふんわり確認します。

Node.jsとPythonの間でデータを送受信する方法

それでは、データを相互に連携するための方法について見ていきましょう！　今回利用するのは「send()」メソッドと「on()」メソッドになります。
簡単に説明すると、send()でデータを送信してon()でデータを受信することになります。実際のプログラムで書くと次のようになります！

js
1var pyshell = new PythonShell('sample.py');
2pyshell.send(【送信したいデータ】);
3pyshell.on('message', 【コールバック関数】);

なるほど、一度newしてインスタンスを作ったら、
sendでデータを流し込めて、
onでイベント登録して何か起こったらJSのコードに帰ってこれるようになっているわけだ。

では本家のドキュメントで確認してみましょう。
sendメソッドで検索すれば一撃です。

Exchanging data between Node and Python:

サンプルコードを見るに侍エンジニア塾ブログのコードとほぼ同じようです。
そしてその下にsendで送信出来るメッセージのルールが記載されています。

Use options.mode to quickly setup how data is sent and received between your Node and Python applications.

use text mode for exchanging lines of text ending with a newline character.

use json mode for exchanging JSON fragments

use binary mode for anything else (data is sent and received as-is)

new PythonShell('sample.py')には第2引数のoptionsが存在します。
options.modeを指定する事で、以下の3パターンのデータを流し込む事が可能です。

text: 改行コード付きのStringを送信する
json: JSONデータを送信する
binary: stdin(標準入力)でバイナリデータを流し込む

Python側のコードはGitHubのtestディレクトリ内にあるpythonファイルを開いて見てくれだそうです。
かなりシンプル、やる気のないコードが記述されてました。
まぁPythonが獲物のエンジニアなら開発できそうではあります。

というわけで回答

プリミティブ型ではなくクラス型オブジェクトであっても、Node.jsにもPythonにも同じクラスが用意されているような場合はPython-shellがよしなにラップしてくれますか？

無理です！
python-shellはバイナリデータやJSON文字列飛ばすのが関の山です。

まぁ、テキストを投げ込んだらPythonで代わりにライブラリを使ってデータを生成
結果のテキストをNode.jsに投げ返して.on("message", fn)で受け取るという一連の流れは使えるので、
Promiseなんかでラッピングすれば普通にasync/awaitで処理する関数には加工して使えるようになるでしょう。

投稿2022/12/12 06:24

miyabi-sun

総合スコア21158

YukiMoriNRT

2022/12/13 12:06 編集

ありがとうございます。クラスそのものに互換性はなく、クラスオブジェクトのまま送ることは不可能ということですね。なので、受け取った側で再構築するために必要な情報をプリミティブデータ（文字列orバイナリ）の形でやり取りすることを考えてみました。 1. Node.js・Pythonそれぞれの実装を徹底解剖し、Node.jsオブジェクト内部で保持している変数を全てJSON化してそっくりそのままPythonに引き継ぐラッパークラスを開発する 2. remote-debugging-portつきで起動し、リモートからも同じ画面にアクセスできるようにする 3. Pythonからの画面操作は諦め、画像データのみ飛ばしてAI判定の結果をboolで受け取る 1.を全て自力で開発するのはタイパ的に困難であること、より省力的な2.であっても同一環境へのリモートアクセスが可能であることから、2.を最有力候補として検討した上で、もしリモートではうまくいかない場合は3.も検討し、3.もハマった場合は最悪全部Pythonで書き直すことになるかも知れません。

行動規範の内容に同意します