Webアプリを自動で操作する方法について

Question

Webアプリで以下の操作を自動化するためにはどのような技術が使われるのでしょうか。

１）Webアプリにログイン（ユーザー名、パスワードのみで2段階認証はなし）
２）テーブルのあるページに遷移
３）テーブルデータを絞り込むためにセレクトボックスを選択
４）絞り込みボタンを押下
５）CSV出力ボタンを押下し、該当のテーブルデータをCSV形式でダウンロード

※なお、データ取得はPOSTメソッドで行われるため、URLに送信内容等のパラメータは含まれません。

何かアイデアがありましたらご教示いただけますと幸いです。

Comments

[hentaiman]

やり方自分でタグ付けしてるじゃん
まさか丸投げでコード寄こせって意味でないですよね？タグの内容を検索すればコード書けるところまでいけますよ

[ikapy]

「提示」という言葉に違和感が！
以前、白バイに免許証を提示してと言われたのでw

Answer 1

まずは検索力という技術を付ける必要がありそうです。
以下、参考資料となります。

１）Webアプリにログイン（ユーザー名、パスワードのみで2段階認証はなし）

→ログインが必要なWebページをスクレイピングする

---

２）テーブルのあるページに遷移
４）絞り込みボタンを押下
５）CSV出力ボタンを押下し、該当のテーブルデータをCSV形式でダウンロード

→Selenium API(逆引き) > 【Python】click

---

３）テーブルデータを絞り込むためにセレクトボックスを選択

→Seleniumブラウザー自動化プロジェクト > サポートパッケージ > 選択要素の操作

---

５）CSV出力ボタンを押下し、該当のテーブルデータをCSV形式でダウンロード

→画像やzipファイルなどをダウンロード
→Python×Seleniumでクローリング備忘録

Comments

[Jake5]

ご回答ありがとうございます。

おっしゃる通りですね。
質問に至るまで紆余曲折あったのですが、その辺りをすっ飛ばして質問してしまいました。
申し訳ありませんでした。

詳細な情報をご提供いただきありがとうございます。
PythonとSeleniumを使うのが一般的？なんですね。
見た感じ難易度が高そうですね、参考にさせていただきます。

[nto]

pythonタグとseleniumタグが含まれていた為、今回はその方法で提案を致しました。
python以外の言語でもseleniumの操作は可能である為
その他の言語を使用したい場合にはそれにあった方法で行うと良いでしょう。

難易度についてはその人の持っているスキルや知識次第で人それぞれとなってしまう為
一概にはなんとも言えませんが、客観的にみた上でそこまで難易度が高いものではないかと個人的には思います。

[Jake5]

勉強になります。
javascript(Node.js等)で実装するのはあまりメジャーではないのでしょうか？

[nto]

元々はseleniumというフレームワーク自体がjsのテストなどを目的に作られたものらしいので、Node.jsでの実装はもごく自然なものなのだと思います。
様々な言語でseleniumの実装は可能な様なので、ご自身にあった方法で実装していけばよろしいのではないでしょうか。

[Jake5]

ありがとうございます。普段JSを使うことが多いためNode.jsでの実装を検討しようと思います。

Answer 2

「User環境で稼働する、ブラウザはIEで。」という制約下で、VBScript+Excelで実装したことがあります。

IE固有のことかも知れませんが、以下の問題がありました。
・ユーザが対話型ログオンしていないと動かない。（IEのセキュリティ実装の問題と思います。）
・そのサイト固有の問題で、ダウンロードのURLがランダム文字列になるので、
IEのUI経由でダウンロードを指定する必要があり、DOMの操作の外側の世界となるためWin32APIを使わざるを得ず、
この部分はExcelVBAでAPIを実装して、VBscriptからExcelVBAをコールすることで解決。

Comments

[Jake5]

VBscriptで実装するのは初耳でした。ご回答ありがとうございました。