VBAスクレイピングが理解出来ません。

Question

やりたい事

**【URL】【画像】【商品名】【発売日】【値段】**を抜き出してExcel2016に入力する。
下記対象サイト

▾
 ▾<div id="Main">
  ▾<a href="URL1" class"s d a">
　　▾<div class="img">
      <img src="https://...jpg?" Srcset="https://...jpg? x1, https://...jpg? x2">
     </div>
　　▾<div class="one">
     ▾<div class="two">
       <span class="title">商品名</span>
      </div>
      <div class="three">発売日</div>
     ▶<div class=""></div>
     ▾<div class="four">
      ▾<div class="five">
       ▾<span style="color: #888888;">
         <strike>¥1,520</strike>
        </span>
        <br>
        "¥1,140   "
       </div>
      </div>
     </div>
     <div style="clear: left;"></div>
   </a>
  ▶<a href="URL2" class"s d a">…</a>
  ▶<a href="URL3" class"s d a">…</a>
  ▶<a href="URL4" class"s d a">…</a>
 </div>
▶

※必要でないような部分は記述していません。classはそのまま表示するわけにもいきませんので英数字を入れています。出来ない部分は無理に出力も必要ありません。
（<a href>内のclassは一部商品を除き同一でした。）
もし上記だけでは情報不足という事であれば、その前後も追記致します。

<a>タグの中に欲しい情報が全て収まっており、ブラウザ上は横並びで一行になっています。
<a>タグ１つが１行で、その下URL2,3,4…と下に続いています。その全てをページを変えて抽出が目標となっております。

丸投げになっている事は重々理解しています。しかしこの部分だけ丸一日様々なサイトを閲覧し、試してみたもののまったく成果が無く、やむなくこちらのサイトを利用した次第です。

Linksでページ上全てのURLを抜き出す事は出来たのですが、必要な部分がその1/3程で全く使いこなせませんでした。

出来ている部分

InputBox → ワード入力 → IE起動 → ログインページ → ID・pass入力 → 検索エンジンのあるURLに移動 → 検索エンジンにワード入力 → 検索ページに移動　+　次のページをクリック

Sub Wait(ByVal objIE As InternetExplorer)
'    Dim Lc As Integer
    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE
        DoEvents
    Loop

'    IE表示待ち（たまに抜けない場合もあるので1万回ループで強制抜け）
'    Lc = 0
'    Do While objIE.Busy = True Or objIE.readyState <> 4 Or Lc > 10000
'        DoEvents
'        Lc = Lc + 1
'    Loop

End Sub

Sub ログイン() '「ツール」「参照設定」「Microsoft HTML Object Library」「Microsoft Internet Controls」忘れずに
    
    Dim keyword As String
    keyword = InputBox("検索したいワードを入力してください。")
    
    Dim objIE As InternetExplorer '操作するIEを入れる「箱」つまりオブジェクト変数を準備
    Set objIE = New InternetExplorer '箱に新しいIEをセット
    
    objIE.Visible = True 'IEを画面に表示する
    objIE.navigate "https://s.com/login/home/?goto=" '管理画面ページのURLを指定
    Wait objIE
    
    Dim htmlDoc As HTMLDocument 'HTMLDocumentというHTMLドキュメントを表すオブジェクト
    Set htmlDoc = objIE.document 'InternetExplorerオブジェクトのDocumentプロパティ
    
    With htmlDoc
        .getElementById("AccountName").Value = "ЖЖЖ" 'ユーザー名を指定
        .getElementById("Password").Value = "ЖЖЖ" 'パスワードを指定
        .getElementById("Login").Click
    End With
    Wait objIE
    
    objIE.navigate "https://s.com/search/" '検索エンジンのあるページへのURLを指定
    Wait objIE
    
    With htmlDoc
        .getElementById("store_nav_search").Value = keyword
        .getElementById("store_search_link").Click
    End With
    Wait objIE

'    Dim page As Long
'    For page = 1 To 5
'        Wait objIE
'        Set htmlDoc = objIE.document

    Dim anchor As HTMLAnchorElement
    With htmlDoc
        .getElementById("search_resultsRows").Links
        Debug.Print anchor.href
    End With

'    With htmlDoc
'        .getElementsByClassName("pagebtn")(0).Click
'    End With
'    Wait objIE

'  Next page

End Sub

※サイトを参考に「これで動いた」程度の理解状況です。使用したものを完璧に理解しているわけでは御座いません。
コメント部分の半端なプログラムは、後々使うであろうものを残しています。
anchor部分は現状試しているもののエラーで動かない部分です。

出来れば切に希望する教えて頂きたい事

スクレイピングの抽出の流れは外堀から考えていく事だと思うのですが、その方法が全く理解出来ていません。
こちらを作成後、今度はPythonでスクレイピングを行う予定ですので、考え方を理解したいと考えております。（IEでの操作で対象サイトのドロップダウンするものをクリックしても反映されない等あり、Pythonでの習得も考えております。）

【getElement】【getElements】等、単体かコレクションかでスタートからやり方が違っていると思うのですが、各々の進め方を理解できるように教えて頂ければ幸いです。

単体とコレクションがあるという事だけしか理解出来ていません。使い方がサイトのHTMLの条件次第ということもHTMLを使用したことがあるため理解しています。これ使えそう！と思ってもそれを使うための技術が無く、根本的にそこからでは出来ないのか出来るのかがわからないのも悩みの種になっています。

又、ログインが必要なサイトでログインが必要な事は理解できます。ログインするプログラムを作る際、ログインをしているかどうかの確認が必須だと考えております。調べてみたところcookieを利用する等の情報はあるものの詳細が御座いません。下手にログインも含めたプログラムは組まないほうが良いのでしょうか。

Comments

[meg_]

「出来ている部分」のコードも掲載できないのでしょうか？　何をどこまで理解されているか不明では回答がつきにくいかと思います。

[LBciel.]

更新しました。ご確認ください。

[yuuskeccho]

タグに”VBA”を指定しているようですが、VBAは関係ないですよね？
Pythonで実装するのであれば"Python”を指定して下さい。

[LBciel.]

こちらはVBA上で行っています。

[meg_]

現状、商品名等を取得したいサイトへは画面遷移できているのですよね？

[LBciel.]

出来ています。そのサイトのデベロッパー内HTMLが上部になります。
そこから【URL】【画像】【商品名】【発売日】【値段】を抜き出す「やり方」が理解出来ておりません。

[meg_]

実際のサイトが見られないので出来るか不明ですが、クラス名"s d a"でタグを取得して（複数あるなら全部）、そこからその子要素のタグを辿っていって必要な情報だけを取得するって感じでしょうか。

[LBciel.]

※一部説明が間違っていたため修正しました。
<a>タグの中に欲しい情報が全て収まっており、ブラウザ上は横並びで一行になっています。
<a>タグ１つが１行で、その下URL2,3,4…と下に続いています。その全てをページを変えて抽出が目標となっております。

一先ず初めのページ内の【URL】【画像】【商品名】【発売日】【値段】を抜き出す事をご教示頂きたいと考えております。

[LBciel.]

話を遮ってしまい申し訳ございません。
本当にやり方がわからず、<div id="Main">内にすべての<a href>が入っているため、id指定を行いその中の…と考えておりましたが、idの場合.getElementById()で単体になるので全ての中身が抜き出せないと勝手に考えてしまっております。おそらく現状の理解度では何もできそうもありませんので、meg_様の方法を試したいと考えております。

※日をまたぎそうな時間ですので、お手すきの時間にご教示願えれば幸いです。

[meg_]

id属性があれば良いのですがなかったりあっても何故か複数のタグに使用されている場合もあります。
質問の例ですと「getElementsByClassName("s d a")」が良いでしょう。

[LBciel.]

有難う御座います。そちらに絞って組み方を調べながら試していきます。

Answer 1

呈示のHTMLの場合で回答します。（VBAコードとは乖離がありますので。）

HTMLの構造は、id="Main" のdiv要素の中に、複数のa要素(class="s d a")が含まれている。
a要素の中に商品名(class="title")、発売日(class="three")、値段(class="five")が含まれている。

複数のa要素を取得するには、
htmlDoc.getElementById("Main").Links(これはダメでした)
htmlDoc.getElementById("Main").getElementsByTagName("a")
か
htmlDoc.getElementsByClassName("s")
のどちらかでいいでしょう。

どちらにしても複数の要素になりますので、すべての要素に対してFor Eachループで処理するようにします。
下記ですべてのa要素(sクラス)のURLが取得できます。

    Dim anchor As HTMLAnchorElement
    For Each anchor htmlDoc.getElementsByClassName("s")
        Debug.Print anchor.href 'URL出力
    End With

また、a要素の中に、商品名等が含まれていますが、calss属性が設定されていますので、
getElementsByClassNameで取得しますが、これはコレクションを返します。
コレクションの最初の要素を取得するには、getElementsByClassName("title")(0) というようにします。
ということで、下記で【URL】【画像】【商品名】【発売日】【値段】が取得できます。

    Dim anchor As HTMLAnchorElement
    For Each anchor htmlDoc.getElementById("Main").Links
        Debug.Print anchor.href 'URL
        Debug.Print anchor.getElementsByClassName("title")(0).innerText '商品名
        Debug.Print anchor.getElementsByClassName("three")(0).innerText '発売日
        Debug.Print anchor.getElementsByClassName("five")(0).innerText  '値段      
    End With

Comments

[LBciel.]

ご回答有難う御座います。一先ず上の方法で試してみたところ…
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.[("search_resultsRows")].Links
Debug.Print anchor.href 'URL出力
Wait objIE
Next anchor
上記で試してみましたが、Forの部分で実行エラー438：オブジェクトは、このプロパティまたはメソッドをさぽーとしていません。となりました。For分は【In】【Next anchor】【Wait objIE】を追加し、[]で囲った部分はそれで囲わないとダメと出てきましたので囲い、実行は出来たのですがエラーとなりました。
End Withで〆られていたので、上部（ログイン位置）で各々区切っていたWith htmlDocのEnd Withを最下部まで引き延ばしました。

[hatena19]

すみません。コードに間違いがあったので回答を修正しましたので、もういちど回答をみてコードを修正してください。 具体的には .getElementById が不足していました。

[LBciel.]

With htmlDoc
ログイン部分
...
...
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.getElementById("Main").Links
Debug.Print anchor.href 'URL出力
Wait objIE
Next anchor

End With
上記のやり方で試してみたところ、エラー91：オブジェクト変数またはWithブロック変数が設定されていません。とエラーが出力されました。Withの部分は各々区切って設定した方が良いのでしょうか？

[hatena19]

下記のコードで試してみてください。

Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.getElementById("Main").Links
Debug.Print anchor.href 'URL出力
Next anchor

"Main" の部分は実際のID名にしてください。

Withに関しては、
htmlDoc.getElementById・・・ というように htmlDoc. から書き始めれば、Withで囲む必要はないです。

With で囲めば省略できますが、繰り返し使わなければ読みづらくなるだけです。メリットを考えて使うようにすればいいでしょう。

[LBciel.]

大変失礼しました。2回目Mainのままでした…変更後も同じ内容でした。

End With

Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.getElementById("search_resultsRows").Links
Debug.Print anchor.href 'URL出力
Next anchor

上記で試してみましたが、「Forの部分で実行エラー438：オブジェクトは、このプロパティまたはメソッドをさぽーとしていません。」となりました。
このコードを打ち込んだ場所は、上部[出来ている部分]のコメントに挟まれたanchorの部分を上書きして実行しております。
For Each文はgetElementsのコレクション限定だと思っておりましたが、Linksを使用すると動作するものなのでしょうか。

[hatena19]

Links もコレクションを返しますので、動作するはずです。
下記ではどうなりますか。

Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.Links
Debug.Print anchor.href 'URL出力
Next anchor

あと、下記も試してみてください。

Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.getElementsByClassName("s")
Debug.Print anchor.href 'URL出力
Next anchor

"s"の部分は実際のクラス名で。

[LBciel.]

Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.Links
Debug.Print anchor.href 'URL出力
Next anchor

１つ目のコードは、エラー70：書き込みできません。とエラーが出るものの、イミディエイトにURLやjavascript等の情報が出力されました。数が多すぎて数え切れませんが・・・
どこで止まったかF8で確認したところ、出力終了後？また一番上に戻っていました。おそらくログイン済み状態でまたログインで引っかかったのではないでしょうか。その際はまた別のエラー表示が出ましたが・・・

Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.getElementsByClassName("search_result_row ds_collapse_flag app_impression_tracked")
Debug.Print anchor.href 'URL出力
Next anchor

２つ目のコードは、何もエラーが出ないものの、何も出力されませんでした。
F8で確認したところ、For Each文の次「Debug.Print anchor.href」をスルーしてEnd Subに移動していました。

試しに回答２つ目の商品名等の部分も入力してみたものの、For文の次はEnd Subに飛んでしまいます。

[hatena19]

空白で区切られたクラス名は、どれか一つだけ指定してください。

For Each anchor In htmlDoc.getElementsByClassName("search_result_row")

[LBciel.]

返信有難う御座います。
空白の部分、その様な条件もあるのですね。
【URL】【商品名】【発売日】【値段】の抽出が出来ました！
下記がその際のコードとなります。
Set htmlDoc = objIE.document
Dim anchor As HTMLAnchorElement
For Each anchor In htmlDoc.getElementsByClassName("search_result_row")
Debug.Print anchor.href 'URL
Debug.Print anchor.getElementsByClassName("search_capsule")(0).innerHTML '画像
' Debug.Print anchor.htmlDoc.images(0).src '画像拡張子のみ取得？
Debug.Print anchor.getElementsByClassName("title")(0).innerText '商品名
Debug.Print anchor.getElementsByClassName("search_released")(0).innerText '発売日
Debug.Print anchor.getElementsByClassName("search_price")(0).innerText '値段
Next anchor

…しかし、F5での実行であるとイミディエイトに反映されず、F8での実行で反映されました。【Wait objIE】をどこかで入れる必要があるのかと思い試してはいるのですが改善が見られません。どういった原因が考えられますでしょうか？

画像の取得に関しまして、１つ目は<img src="">内全てを取得する内容で成功しました。内部に3つデータがあり、１つだけというのはやはり無理なのでしょうか。

２つ目のもので試したところ【anchor】を抜けばコードが通り、拡張子が画像の物だけ取得しているようでした。（０）としたのが原因か、１つのものだけ繰り返して取得していました。

[LBciel.]

F5実行でエラーと画像はまだHTML取得で止まっておりますが…
ページ切り替えの問題を乗り越え、セルへの出力も叶いました！

最後までお付き合い頂いて本当に有難う御座いました！

最低限やりたい事の条件は満たせましたので、hatena19様の回答をベストアンサーとし、一旦区切らせて頂きます。

もしお時間があるようであれば、残りのエラーや改善できる部分にお付き合い頂けましたら幸いです。