[Blue Prism] There was an error during the spying operationをどう対処するかについて。

Question

https://www.ebocean.work/entry/2019/03/14/213426　
の続きの質問になります。

IEのタブ2枚目以降、または1枚目のタブがポップアップするダイアログをスパイしようとすると、『There was an error during the spying operation.』が出てBPでスパイできません。（ここまではブログの通りと認識しています）

プロセスエクスプローラでプロセス状況を確認したものが添付画像です。

Child Index2をAttacした場合（Child Index1も同様）に上記のメッセージが出てしまい、BPでのスパイができません。
システムでポップアップメッセージを出す場合、どうしてもChild Index2に対しての操作を実施する必要がありますが、Region Modeでもスパイできない状況なので、『さて、どうしたものか』と困っています。

現状、出てきたポップアップに対しては

• Child Index0をRegion Modeでスパイ
• クリックさせたい場所に対して、Location MethodをCoordinates で範囲指定

することで回避していますが、実運用では厳しいなぁ・・・と感じています。
みなさん、どのように対処しているでしょうか？

Answer 1

child indexを一度消して、window name・process nameのみでアタッチを試みてはいかがでしょうか？

上記アタッチの後、操作画面の要素が取れているかwaitで確認すれば後続処理はできるかと存じます。

ieがタブでもポップアップでも、別のparent urlなら一意の要素として認識するかと存じます。
(2タブで同じurlを開くという場合は、match条件を工夫しないと認識ができないかもしれません)

ただし、上記はあくまでも可能論であり、原則としてオブジェクトは一画面ごとに作成することをオススメ致します。
つまり、ieのタブごと、ポップアップごとにオブジェクトを作成し、それぞれに画面ごとのAPPモデラーを定義します。

ちなみに、上記はBP6.4の挙動から確認した動作となります。

Comments

[y_koike]

お返事ありがとうございます。このポップアップメッセージ（つまり、child index2のプロセス）は、PID、Process Nameでアタッチしなおしても、『There was an error during the spying 』となります。スパイが全くできてないので、Window nameではアタッチできませんでした。

別オブジェクトで作りたいのはヤマヤマですが、この状況で全くスパイできないので作りようが無いです…

[star_heart]

返信遅くなりすみません。
アタッチできない問題でもうひとつ見てほしいポイントとしては、アプリケーションウィザードの設定です

IEを選択してるのであれば、exeファイルを選択するか、already runningかを選択するかと思いますが、こちらの設定はどちらになっているでしょうか？

おそらく対象画面はポップアップ以降の画面なので、already runningが適切になるかと思います。
こちらの設定はいかがでしょうか？

Answer 2

オブジェクトとしてアタッチをするページを作成しておいて、ポップアップした画面のPIDを調べます。
アタッチするページのアタッチにPIDを設定して実行する。
その後アプリケーションモデラーを起動してあげるとスパイできるようになると思います。
この方法で、過去にうまく行ってます。
実装する場合は、1枚目のIEのPIDと、ポップアップしたIEのPIDでアタッチする先を切り替える必要が
あります。

Comments

[sumire_cl]

すいません他のかたの質問に横入りして聞いてしまいます！
「ポップアップした画面のPIDを調べ」るのって、BPではどのステージを使ってなんて書いたらいいのでしょうか？

[Tacchu]

私は、コードステージでプロセスIDを検索するコードを書きました。

[sumire_cl]

ありがとうございます。もしかしたらBP提供とかDXとかでPIDを取得するVBOがあったりするのかなーと期待したのですが、やっぱ書かないといけないのですね……。

[y_koike]

ポップアップしたPIDを調べる方法は確かあったはずです。（前に作りましたが、結局運用には耐えきれないな…という判断をして何とかスパイする道を検討した記憶があります）

7/22のユーザ会で詳しくお話できればと思います。

Answer 3

ご連絡が遅くなり恐縮です。

必ず操作したいタブを選択（Focus）してから、Child Index = 0 で Attach を行うことで、複数タブを操作できるように思いますが、いかがでしょうか。

たとえば、

　タブ１ → Child Index = 0 で Attach してから操作、タブ２を起動する操作
タブ２ → Attach したまま、要素を認識

タブ１を選択して操作しているときは、Child Index = 0 の iexplore がタブ１を指し、
タブ２を選択して操作しているときは、Child Index = 0 の iexplore がタブ２を指している気がします。
つまり、Internet Explorerはタブごとにprocess（コンテンツ プロセス）が割り当てられているが、マネージプロセスはタブを切り替えたら、それに対応して動いている・・・というような印象があります。

Comments

[y_koike]

お返事ありがとうございます。
色々と検証してみましたが、タブ２などは、確かにタブ２をフォーカスしてマネージプロセスをAttachすればスパイできますが、タブ２のPIDをダイレクト指定したり、マネージプロセスのChild Index = 2 などと指定してAttachした場合、Win32モード、Region Modeでスパイすると『There was an error during the spying operation』となりますね。

ちなみに、今回はタブではなくポップアップでして、ポップアップにフォーカスを当ててAttachしても、親ページがスパイされてしまいます…

[EnterpriseOcean]

うーん、、なかなかサクッとはいかないようですね。。

一応、手元で確定申告時のe-Taxを操作するプロセス／オブジェクトを作成してみました。
これは、IEで新しいタブおよびポップアップが上がる操作をBlue Prismで自動化しています。
・・・問題なく実行できているようには思います。ベストな実装とは断言できませんが、、
https://app.box.com/s/lwtzgr7wbs4n4vfdm9ve90gydhwu9iex

こちらは参考になったりしますでしょうか？？

Answer 4

どうしても難しい場合は、4/24（水）のユーザー会でも、少し会話できれば・・・と思います。
（そこまで待てる状況であれば、、ですが・・・）

よろしくお願い申し上げます。

Comments

[y_koike]

そうですね。ユーザ会でお話できればと思います。今は何となくやれてますが、本当に何となく感覚で逃げているので、ちょっと心配です…

[EnterpriseOcean]

お待ちしてます！

Answer 5

参考になれないかもしれませんが、
ポップアップ画面のためにもう一つオブジェクトを作成してアタッチする方法もあります。

Answer 6

参考になれないかもしれませんが、
ポップアップ画面のためにもう一つオブジェクトを作成してアタッチする方法もあります。

Comments

[y_koike]

コメント有難うございます。オブジェクトを新たに作成してみましたが、やはり同じ症状になってしまいます・・・