webアプリによりwebブラウザ自動操作

Question

前提・実現したいこと

Webアプリケーションを制作しています。
Webアプリ(サイト内のボタン)をクリックすると自動でブラウザが立ち上がって、自動でログインして自動で好みの操作をする。
という実装をしたいです。

発生している問題・エラーメッセージ

Pythonを使っての操作やVBAによってブラウザ操作する方法は理解しているのですが、
それをWebアプリケーションとして完成させる方法がわからず悩んでいます。

該当のソースコード

Python3
ソースコード
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.clear()
elem.send_keys("pycon")
elem.send_keys(Keys.RETURN)
assert "No results found." not in driver.page_source

試したこと

以下のようなHtmlへのPythonの埋め込みを利用して実装してみたもののうまくいきません。
どうかわかるかた教えてください！！

<script type="text/javascript" src="pystachio.js"></script> <script type="text/python"> <!-- temp = "hello, world!" def something(temp): return temp print something(temp) #--> </script>

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

1. ローカルでネイティブアプリケーションを立ち上げる
2. ネイティブアプリでWebSocketサーバーを立ち上げる
3. ブラウザからローカルホスト上のネイティブアプリケーションに、WebSocketで接続する
4. サーバーからデータを受け取り、ブラウザを経由してネイティブアプリケーションに命令を送信し、クローラーを起動する

以上の手順で可能です。
クローラーはPythonをキックしてもいいですし
ネイティブアプリ内にWebBrowserControlなどで実装してもいいでしょう。

Comments

[tekka]

ブラウザとネイティブの連携部分のサンプルを書きました。
https://github.com/tekka/ParallelHybridApp

Answer 2

無理です。

セキュリティ上、「ブラウザ内のコードからブラウザを自動操作する」なんていうことは、許されていません。

Comments

[退会済みユーザー]

Securityを下げたIE限定で、ActiveX での操作可能な範囲で可能だったはず
（ JS 起点 )

Answer 3

そういう機能をもったブラウザアドインを開発して、ブラウザに組み込む必要があります。

Answer 4

無理です
出来たとしてもWebアプリでやる意味がないんで設計を変えて下さい。

以下のようなHtmlへのPythonの埋め込みを利用して実装してみたもののうまくいきません。

これはPythonのソースコード文字列を無理やりJavaScript(以下JS)に変換して動作させるものです。
（いわゆるトランスパイルやAltJS等と呼ばれるジャンルのやり方）
要するにJSに変換してるだけなんで、JS以上の事は出来ません。

JSはその昔、セキュリティがガバガバだったIEと連携してローカルのファイルを勝手に読み書き、
まぁCドライブの中を勝手に消去したり、デスクトップにあるファイルを勝手に吸い出してどっかにアップロードするようなものも簡単に作れてました。
JSからパソコンにログインしているユーザー権限で任意のコードを打ち込んでシステムをクラッシュさせるような仕組みもあったと記憶しています。

要するにJSにそれだけの権限をもたせると、
悪意のサイトを開いただけでパソコン内のファイルを抜かれたり、システムがクラッシュする恐れがありますので、
JSはローカルのファイル等を一切触ることは出来ません。

それはあまりに不便だというのでHTML5でFile API等が実装されましたが、
これは<input type="file">等のタグからユーザーがファイル指定したものしか操作出来ない等、
非常にシビアな制限下での活動になります。

---

絶対に無理なのか？に関しては、まぁ抜け道はあります。
恐らくChrome限定ですけどね。

参考記事: ChromeでiTunesを起動！「外部プロトコル リクエスト」の対処法

でも、自作のアプリを動かすというのは茨の道でしょうね。
asahina1979さんが仰るように、セキュリティレベルを引き下げたIEからActiveXで発火させたほうがまだ楽でしょう。

---

Webアプリ(サイト内のボタン)をクリックすると自動でブラウザが立ち上がって、自動でログインして自動で好みの操作をする。

という実装をしたいです。

動機が分からないから何とも言えません。
ブラウザを立ち上げて自動でログインして自動で好みの操作をするというメリットが良くわからないんですよね。

ログインしてあれこれしたいなら、RESTfulAPIサーバが用意されてるサーバーも多く、
そういったサービスの場合まず裏で本物のブラウザを立ち上げる意味がありません。
また、銀行やビットコイン取引所等は堅牢なログインシステムがあるので自動ログイン等を組み込む事は非常に困難です。

従って、RESTのAPIサーバが用意されておらず、ログインして操作するのが効果的な中堅サイトと仮定すると、
PythonかなんかでCLIツールを作ってコマンドで操作出来るようにしたほうが楽なのではないかと思います。