vbaでスクレイピングをすると途中で止まる。

Question

現在、スクレイピングを下記コードで回しているのですが下記ループを3周したあたりで止まってしまいます。

調べたところdo eventが重いみたいな情報があり、
sleep 1000など加えたのですが変わらず止まってしまいます。

お手数をおかけいたしますが知見をいただけますと幸いです。

※URLやサイトのclass名などは変更しています。

For i = 1 To 30
On Error Resume Next

Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

'URLを取得
objIE.Visible = True 'IEを表示
objIE.navigate "https://example.com/page=" & i & "test" 'IEでURLを開く


Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

    DoEvents

Loop
Sleep 1000

       

Sub listPost()
 
Dim objIE As InternetExplorer 'IEオブジェクトを準備

For i = 1 To 30
On Error Resume Next

    Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

    'URLを取得
    objIE.Visible = True 'IEを表示
    objIE.navigate "https://example.com/page=" & i & "test" 'IEでURLを開く
    
 
    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

        DoEvents
    
    Loop
    Sleep 1000

    Dim htmlDocURL As HTMLDocument 'HTMLドキュメントオブジェクトを準備
    Set htmlDocURL = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット
    
    Dim elList As IHTMLElementCollection
    Set elList = htmlDocURL.getElementsByClassName("list") 'class="buttonArea"のdiv要素を掴む


    'ここから
    
    Dim el As IHTMLElement
    For Each el In elList
        For t = 0 To 19
            Worksheets("Sheet1").Range("A" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByTagName("h3")(0).innerText
            Worksheets("Sheet1").Range("B" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByClassName("cell")(0).outerText
            Worksheets("Sheet1").Range("C" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByClassName("cell")(1).innerText
            Worksheets("Sheet1").Range("D" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByClassName("cell")(2).innerText
            Worksheets("Sheet1").Range("E" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByTagName("a")(0).href
            
            exlrow = exlrow + 1
        Next t
    Next el

    'ここまで

    objIE.Visible = False
    objIE.Quit
Next i



exlrow = 14000
'ページ情報を取得
For j = 1 To exlrow
    Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット
    objIE.Visible = True 'IEを表示
    objIE.navigate Worksheets("Sheet1").Range("E" & j).Value  'IEでURLを開く
   On Error Resume Next
 
    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち
     
        DoEvents
     
    Loop
    Sleep 1000

    Dim htmlDocCompanies As HTMLDocument 'HTMLドキュメントオブジェクトを準備
    Set htmlDocCompanies = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット
    
    Dim CoList As IHTMLElementCollection
    Set CoList = htmlDocURL.getElementsByClassName("column") 'class="descArticleUnit dataCompanyInfoSummary"のdiv要素を掴む
    
   
    Dim elnumber As String
    Dim elperson As String
    Dim elcapital As String
    Dim elemployee As String
    Dim elstart As String

    elnumber = ""
    elperson = ""
    elcapital = ""
    elemployee = ""
    elstart = ""
    On Error Resume Next
     
    For k = 0 To 9


        If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "企業名" Then


       elnumber = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText
      
        End If

         If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "代表者名" Then

        elperson = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If


         If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "売上" Then

         elcapital = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText
         
        End If

        If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "フリガナ" Then

        elemployee = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If

        If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "設立年月" Then

        elstart = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If

      Next k

        Worksheets("Sheet1").Cells(j, 6).Value = elnumber
        Worksheets("Sheet1").Cells(j, 7).Value = elperson
        Worksheets("Sheet1").Cells(j, 8).Value = elcapital
        Worksheets("Sheet1").Cells(j, 9).Value = elemployee
        Worksheets("Sheet1").Cells(j, 10).Value = elstart


    objIE.Visible = False
    objIE.Quit
Next j

End Sub

Answer 1

マイクロソフトOFFICE系のVBAは、イベント駆動型プログラミングモデルを採用しています。
イベント駆動型プログラミングモデルに於いては、
無限ループで、コードを実行し続けるのは、禁忌です。
ネット検索などで、「イベント駆動型プログラミング」等で基礎から勉強してください。
DoEvents は、やむをえない場合でも使わないに越した事はない機能です。
DoEvents の使用により、イベントの連鎖が発生して、思わぬコードが実行されたり、
思わぬ操作が可能となってしまいます。
OFFICE系VBAの EXCEL版では、インターバルタイマーが実装されていないので、
On Time で済ます程度にするか、VSTO で済むか検討するか、
データ連携機能で、セルデータを更新してイベントを取得するかが、安全な方法です。
DDE（ネットDDEは廃止の筈）連携は、９０年代に行われていた方法ですが、現在では非推奨のはず。
’
古くからある、ポーリング型プログラムをそのまま書くことは出来ません。
シーケンサ（PLC）のラダーの様な順序実行をする場合は、
安直には、リストボックスなどを使って、
（FIFO/FILOを行う）シーケンス処理を、順次実行するプログラムを書きます。
⇒ある意味での、シーケンサを実装する。
’
DoEvents は、Windows 3.1 / 95 / 98 の時代に、
Windows NT系では起きず、3.1/95/98でのみ発生する問題に対処する為に付けた機能で、
Windows NT / 2000 / XP の後継系列である現在のOSでは、使わない、使ってはいけない機能だと、
考えます。

Comments

[memomemo]

ありがとうございます。
ちょっとまだ理解出来ていない言葉などあるので調べてみます！

お手数をおかけいたしますが引き続き宜しくお願い致します。