ExcelVBAでIE操作中にIEオブジェクトがクライアントから切断される？

Question

以下のコードは、あるWebサイトについて3パターンでページをロードするExcelVBAの処理です。

#If VBA7 Then
Private Declare PtrSafe Sub Sleep Lib "kernel32" (ByVal ms As LongPtr)
#Else
Private Declare Sub Sleep Lib "kernel32" (ByVal ms As Long)
#End If

Private Sub driver_getKatsuki()
    Dim ret
    Dim objIE As InternetExplorer

    ' IEの起動
    Set objIE = CreateObject("InternetExplorer.Application")
    objIE.Visible = True

    'パターン１
    ret = getKatsuki("9784344033856", objIE)
    Debug.Print "戻り値=[" & ret & "]"

    'パターン２
    ret = getKatsuki("9784897481159", objIE)
    Debug.Print "戻り値=[" & ret & "]"

    'パターン３
    ret = getKatsuki("4866510553", objIE)
    Debug.Print "戻り値=[" & ret & "]"

    objIE.quit
    Set objIE = Nothing
End Sub

Function getKatsuki(searchKey As String, objIE As InternetExplorer)
    Dim url
    On Error GoTo Err
    
    url = "http://www.katsuki-books.jp/kensaku/detail.asp?Cd=" & searchKey
    objIE.Navigate2 url
    ' ★ロード待ち
    Do While objIE.Busy = True Or objIE.readyState <> 4
        DoEvents
        Sleep (1000) '1秒待機
    Loop
    Debug.Print objIE.LocationURL

    getKatsuki = 1
    Exit Function
Err:
    Debug.Print "Err.Number=[" & Err.Number & "], Err.Description=[" & Err.Description & "]"
    getKatsuki = -1
End Function

これを実行するとパターン１までは正常に動作しますが、パターン２のページロードでビジー状態が継続し、「★ロード待ち」とコメントしているループ処理を脱出しません。（IEを見るとロードは完了しているように見えるのですが・・・）

また、何度か実行していると、「'Navigate2' メソッドは失敗しました: 'IWebBrowser2' オブジェクト」のエラーメッセージを吐くこともあります。

上記コードは最小限の処理のみ記述したものです。実際にはデータ取得する処理等あるのですが、その実行時に「起動されたオブジェクトはクライアントから切断されました。」のエラーが出たこともあります。私は、上のエラーもクライアントから切断されたものと予想しています。

一方で、デバッグでステップ実行すると、最後まで問題なく処理できます。

サイト側で何か制限をかけているのかな・・・と勘ぐったりもしますが分かりません。
原因・対策など教えていただけないでしょうか。

実行環境：Windows7、Excel2016

Answer 1

objIE.Visible をTrueからFalseに変えたところ、正常に処理できるようになりました。
複数回実行してもエラーにならないので、恐らくこれで大丈夫かと思います。
回答してくださった方、ありがとうございました！

Comments

[nineplus]

私もまったく同じ問題にぶちあたり、ここにたどり着きました。
しかし、原因については、いまだにわからずにいます。
デバッグする際は、ＩＥの画面を見ながらテストしたいので、
Trueのままでも、切断されずに正常に動作させるには、どうしたらいいんでしょうね？

[dam9806]

質問主です。
私の質問に対する回答者との過去のやりとりをお読みになり、回答者の提示した処方をお試し下さい。
回答者から色々アドバイスを頂きました。例えば、DoEventsを所々に挿入するなどです。

Answer 2

IE表示待ちでしつこくステータスを確認してはどうでしょうか。

Function ie_wait(objIE As Object) As Boolean
    Dim timeout As Date
    Dim cnt As Integer
   
    '読み込み中なら以下を繰り返す
    cnt = 0
    timeout = DateAdd("s", 50, Now())
    Do
        '下記ステータス30回一致
        If objIE.Busy = False And objIE.readyState = 4 Then
            DoEvents
            Sleep 100
            DoEvents
            cnt = cnt + 1
            If cnt > 30 Then
                Exit Do
            End If
        Else
            cnt = 0
        End If
       
        'タイムアウトチェック
        If timeout < Now() Then
            ie_wait = False
              Exit Function
        End If
        DoEvents
    Loop

    ie_wait = True
End Function

また、Sleep関数は　64bitでもLongで渡します。
Private Declare PtrSafe Sub Sleep Lib "kernel32" (ByVal ms As Long)

＜追記＞
私が普段使っているIE表示待ちも試してみてください。
これでダメならお役に立てそうにありません。

Public Sub Myloop(ByRef ie As Object)

    Dim nowURL As String
    nowURL = ie.LocationURL
    
    Dim IEretry   As Boolean: IEretry = False
    Dim RepeatSec As Single:  RepeatSec = Timer

On Error GoTo INVALID

    Do While ie.Busy = True Or ie.readyState < 4 'READYSTATE_COMPLETE
        DoEvents: Sleep 200 '200ms停止

        If (Timer - RepeatSec) > 80 Then
            Debug.Print ie.readyState
            MsgBox "サーバーが応答していません。インターネット接続をご確認後、再度実行してください。"
            ie.Quit
            End
        ElseIf (Timer - RepeatSec) > 40 And IEretry = False Then
            'IEの再読み込みは１回限りとする
            IEretry = True
            On Error Resume Next
            ie.Refresh
            Debug.Print "ie.Refresh／エラー番号:" & Err.Number & vbNewLine & "エラーの種類:" & Err.Description
            On Error GoTo INVALID
        End If
    Loop

    DoEvents

    Do While ie.document.readyState <> "complete"
        DoEvents: Sleep 200 '200ms停止
        
        If (Timer - RepeatSec) > 100 Then
            Debug.Print ie.document.readyState
            ie.Quit
            MsgBox "ドキュメントを取得できません。インターネット接続をご確認後、再度実行してください。"
            End
        End If
    Loop

    '念のため確認
    DoEvents: Sleep 1: DoEvents
    If ie.Busy = True Or ie.readyState < 4 Then
        Call Myloop(ie)  '再帰呼出
    End If
    
    Exit Sub

INVALID:

    Debug.Print "エラー番号:" & Err.Number & vbNewLine & "エラーの種類:" & Err.Description
    
    If Err.Number = 70 Then
        '実行時エラー「書き込みできません。」(70)は想定内なので無視。
        On Error GoTo 0
        MsgBox "IE読み込み時にエラー発生。処理を継続します。"
    
    ElseIf Err.Number = -2147417848 Then
        On Error GoTo 0
        '新規IEオブジェクト作成
        Dim getIE As Object
        Set getIE = CreateObject("InternetExplorer.Application")
        getIE.Visible = True
        getIE.navigate nowURL 'URL指定
        
        MsgBox "対象IEが存在しないため、IEを起動します。"
        Set ie = getIE
        getIE = Nothing

    Else
        '上記以外はエラーを発生させる。
        Err.Raise Err.Number
    End If
End Sub

Comments

[dam9806]

回答ありがとうございます！

ご呈示いただいたコードを盛り込んで3回実行しました。
1回目は3パターンとも全て正常終了しました。

２・３回目は、パターン1は正常終了して、パターン2でタイムアウト、パターン3で「'Navigate2' メソッドは失敗しました: 'IWebBrowser2' オブジェクト」のエラーとなりました。

[dam9806]

なお、実行環境は32bit環境です。

[dam9806]

再度ご呈示いただいたコードを盛り込んで実行しましたが、ほぼ同じ結果となりました。
パターン2の表示待ちで、「サーバーが応答していません。インターネット接続をご確認後、再度実行してください。」のメッセージが出力されました。

[dam9806]

お付き合いくださり、ありがとうございました！

[TanakaHiroaki]

キャッシュを読み込んでいる可能性があるため、各ステップの間に以下およびIE待ち時間処理を入れてみてください。

objIE.Navigate2 "http://www.katsuki-books.jp/?time=" & Format(Now, "yymmddhhnnss")

[dam9806]

Navigate2のステップ1行のみ修正して実行しました。
やはりパターン1は正常処理できて、パターン２で異常となります。
以下のログが吐かれました。

～～～ここから～～～
http://www.katsuki-books.jp/kensaku/detail.asp?Cd=9784344033856&time=181206091604
戻り値=[1]
ie.Refresh／エラー番号:-2147467259
エラーの種類:'Refresh' メソッドは失敗しました: 'IWebBrowser2' オブジェクト
1
～～～ここまで～～～

キャッシュとおっしゃられたので、Navigateの前にキャッシュを削除する処理を追加したりもしましたが、上記同様のエラーとなりました。

デバッグでのステップ実行は問題なく動くのに、一括実行だと動かないのが解せません。
実行中に唐突にブレークポイントを設定しても、すべて正常に処理できます。

[ExcelVBAer]

一括実行だと途中で動かなくなる(途中からデバッグすると動く)のは、
ブラウザ（IE、Chrome、etc）の仕様だったと思います。
Webから攻撃されないよう、そうなってるものなんだと思っています。

[ExcelVBAer]

過去には逮捕となった事例もありますので、ご注意ください。
http://commutative.world.coocan.jp/blog2/2010/08/post-773.html

[ExcelVBAer]

自分も詳しい事は知りませんが、自己責任ですので。

[dam9806]

お気遣い、ありがとうございます。
連続実行は控えます。

[dam9806]

objIE.Visible をTrueからFalseに変えたところ、正常に処理できるようになりました。
複数回実行してもエラーにならないので、恐らくこれで大丈夫かと思います。
メモリ等のリソース関係で何か問題が出ていたのかもしれません。

キャッシュを使わないURLの作成方法や、具体的なコードまで提示していただき、とても勉強になりました。
お付き合いくださり、ありがとうございました！

[TanakaHiroaki]

直接お役に立てませんでしたが、解決してよかったですね。
別の下記質問で私が回答した　objIE.Visible = False　が有効なケースがあることがわかり、うれしいです。
https://teratail.com/questions/102572

Answer 3

Sleep の直後に DoEvents 使ってもダメ？

Comments

[dam9806]

コメントありがとうございます。上記コードにて、sleepとDoEventsの順序を入れ替えてみましたが、結果は変わりませんでした。

[ExcelVBAer]

自分も詳しくはないですが、サイト側で制限をしているのではなく、
ブラウザ自体（ソフト、と言った方がいい？）が制限があったと思います。

Navigateだけではなく、GetElement等、IEに関わる処理全般的に、
１秒待つ等の待ち時間をとっていないと、
サーバーに対する攻撃とみなされ、
IEが正常に動かなくなると思われます。

「実際にはデータ取得する処理等あるのですが」とありますので、
そこの処理の合間に休み時間を取ってあげてはいかがでしょうか？

デバッグでステップ実行すれば処理可能ということは、
同じくらいのテンポで処理を進めていけば
処理可能と予想されます。

※自分の経験則なので、事実関係は自分で調べてください。

[dam9806]

ありがとうございます。
Navigateの前後で30秒ほどsleepさせたりもしたのですが、変わりませんでした。
一方で、ステップ実行だと、Shift＋F8を押しっぱなしにして間をあけることなく実行しても、正常に処理できました。

[ExcelVBAer]

別の角度から聞かせてください。
「実際にはデータ取得する処理等ある」は
どういう処理をしているのでしょうか？

[dam9806]

objIE.document.body.outerHTMLでソースを取得して文字列検索により欲しいデータを探して取得たり、DOM操作で欲しいデータのあるノード(?)を検索してデータを取得しています。

このような回答で宜しいでしょうか。

[ExcelVBAer]

その各データ取得の処理前後に、DoEvents や Sleep を挟んでみても解消されないでしょうか？

[dam9806]

IEオブジェクト(objIE)にアクセスするコードの前後に
「DoEvents: Sleep 500」
これを追加して実行しました。

パターン１・２は正常に処理できたのですが、パターン３で
「'Navigate2' メソッドは失敗しました: 'IWebBrowser2' オブジェクト」
のエラーとなりました。

[dam9806]

IEオブジェクトにアクセスする際に、以下のようにメソッドを繋げているのですが、関係ありそうでしょうか。
objIE.document.getElementsByClassName("naiyo")(0).getElementsByTagName("a")(0).Click

[ExcelVBAer]

これも経験則ですが、getElementsByXXX 等、IEにアクセスする回数が多いと、
たまに失敗することがあったと思います。

なので、自分は、getElementsByXXX 等用に関数を作り、
１０回トライし、トライ毎に待ち時間を長くして対応したように思います。

メソッドチェーンは書くのは楽ですが、
処理が込み入ってくると安全ではないので、
１回づつに分けた方が無難だと思います。

[dam9806]

ありがとうございます。
対応に時間かかりそうですが、メソッドを分割して試してみたいと思います。

[dam9806]

objIE.Visible をTrueからFalseに変えたところ、正常に処理できるようになりました。
複数回実行してもエラーにならないので、恐らくこれで大丈夫かと思います。
メモリ等のリソース関係で何か問題が出ていたのかもしれません。

DoEventsを所々に挟むというのは、OSに制御渡すことで擬似的にステップ実行している状況に近づけていたのだと思います。とても勉強になりました。
お付き合いくださり、ありがとうございました！