質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.33%

vbaでスクレイピングをすると途中で止まる。

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 4,813

score 26

現在、スクレイピングを下記コードで回しているのですが下記ループを3周したあたりで止まってしまいます。

調べたところdo eventが重いみたいな情報があり、
sleep 1000など加えたのですが変わらず止まってしまいます。

お手数をおかけいたしますが知見をいただけますと幸いです。

※URLやサイトのclass名などは変更しています。

For i = 1 To 30
On Error Resume Next

Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

'URLを取得
objIE.Visible = True 'IEを表示
objIE.navigate "https://example.com/page=" & i & "test" 'IEでURLを開く

Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

DoEvents

Loop
Sleep 1000

Sub listPost()

Dim objIE As InternetExplorer 'IEオブジェクトを準備

For i = 1 To 30
On Error Resume Next

    Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

    'URLを取得
    objIE.Visible = True 'IEを表示
    objIE.navigate "https://example.com/page=" & i & "test" 'IEでURLを開く


    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

        DoEvents

    Loop
    Sleep 1000

    Dim htmlDocURL As HTMLDocument 'HTMLドキュメントオブジェクトを準備
    Set htmlDocURL = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット

    Dim elList As IHTMLElementCollection
    Set elList = htmlDocURL.getElementsByClassName("list") 'class="buttonArea"のdiv要素を掴む


    'ここから

    Dim el As IHTMLElement
    For Each el In elList
        For t = 0 To 19
            Worksheets("Sheet1").Range("A" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByTagName("h3")(0).innerText
            Worksheets("Sheet1").Range("B" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByClassName("cell")(0).outerText
            Worksheets("Sheet1").Range("C" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByClassName("cell")(1).innerText
            Worksheets("Sheet1").Range("D" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByClassName("cell")(2).innerText
            Worksheets("Sheet1").Range("E" & exlrow + 1).Value = el.getElementsByClassName("detail")(t).getElementsByTagName("a")(0).href

            exlrow = exlrow + 1
        Next t
    Next el

    'ここまで

    objIE.Visible = False
    objIE.Quit
Next i



exlrow = 14000
'ページ情報を取得
For j = 1 To exlrow
    Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット
    objIE.Visible = True 'IEを表示
    objIE.navigate Worksheets("Sheet1").Range("E" & j).Value  'IEでURLを開く
   On Error Resume Next

    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

        DoEvents

    Loop
    Sleep 1000

    Dim htmlDocCompanies As HTMLDocument 'HTMLドキュメントオブジェクトを準備
    Set htmlDocCompanies = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット

    Dim CoList As IHTMLElementCollection
    Set CoList = htmlDocURL.getElementsByClassName("column") 'class="descArticleUnit dataCompanyInfoSummary"のdiv要素を掴む


    Dim elnumber As String
    Dim elperson As String
    Dim elcapital As String
    Dim elemployee As String
    Dim elstart As String

    elnumber = ""
    elperson = ""
    elcapital = ""
    elemployee = ""
    elstart = ""
    On Error Resume Next

    For k = 0 To 9


        If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "企業名" Then


       elnumber = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If

         If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "代表者名" Then

        elperson = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If


         If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "売上" Then

         elcapital = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If

        If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "フリガナ" Then

        elemployee = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If

        If htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("key")(0).innerText = "設立年月" Then

        elstart = htmlDocCompanies.getElementsByClassName("info")(0).getElementsByClassName("a-company-info")(k).getElementsByClassName("value")(0).innerText

        End If

      Next k

        Worksheets("Sheet1").Cells(j, 6).Value = elnumber
        Worksheets("Sheet1").Cells(j, 7).Value = elperson
        Worksheets("Sheet1").Cells(j, 8).Value = elcapital
        Worksheets("Sheet1").Cells(j, 9).Value = elemployee
        Worksheets("Sheet1").Cells(j, 10).Value = elstart


    objIE.Visible = False
    objIE.Quit
Next j

End Sub
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

マイクロソフトOFFICE系のVBAは、イベント駆動型プログラミングモデルを採用しています。
イベント駆動型プログラミングモデルに於いては、
無限ループで、コードを実行し続けるのは、禁忌です。
ネット検索などで、「イベント駆動型プログラミング」等で基礎から勉強してください。
DoEvents は、やむをえない場合でも使わないに越した事はない機能です。
DoEvents の使用により、イベントの連鎖が発生して、思わぬコードが実行されたり、
思わぬ操作が可能となってしまいます。
OFFICE系VBAの EXCEL版では、インターバルタイマーが実装されていないので、
On Time で済ます程度にするか、VSTO で済むか検討するか、
データ連携機能で、セルデータを更新してイベントを取得するかが、安全な方法です。
DDE(ネットDDEは廃止の筈)連携は、90年代に行われていた方法ですが、現在では非推奨のはず。

古くからある、ポーリング型プログラムをそのまま書くことは出来ません。
シーケンサ(PLC)のラダーの様な順序実行をする場合は、
安直には、リストボックスなどを使って、
(FIFO/FILOを行う)シーケンス処理を、順次実行するプログラムを書きます。
⇒ある意味での、シーケンサを実装する。

DoEvents は、Windows 3.1 / 95 / 98 の時代に、
Windows NT系では起きず、3.1/95/98でのみ発生する問題に対処する為に付けた機能で、
Windows NT / 2000 / XP の後継系列である現在のOSでは、使わない、使ってはいけない機能だと、
考えます。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/05/29 20:23

    ありがとうございます。
    ちょっとまだ理解出来ていない言葉などあるので調べてみます!

    お手数をおかけいたしますが引き続き宜しくお願い致します。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.33%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る