Excel VBAでのWebスクレイピングについての質問です。

Question

https://www.equitation-japan.com/index.php?menuindex=101-102

2時間に一回、上記のURLから会員番号と会員氏名を自動で抽出してExcelで一覧表を作りたいと考えています。
テキストファイルにWEBサイトのHTMLを出力することはできたのですが、会員名などが出てきません。
どのようにしたら良いか教えて下さい。
よろしくお願い致します。

Public Sub printMain()

Public Sub printMain()

Dim ie As InternetExplorer
Dim FCK As Object
Dim TSO As Object
Dim TGT As String
Set FCK = CreateObject("scripting.FileSystemObject")
TGT = ThisWorkbook.Path & "\HTML_FILE.txt"
Set ie = CreateObject("InternetExplorer.Application")
ie.Visible = True
ie.navigate "https://www.equitation-japan.com/index.php?menuindex=101-101"
Do While ie.Busy Or ie.readyState < READYSTATE_COMPLETE
DoEvents
Loop

Set form = ie.document.form.sub1
form.Click

Dim HTMLString As String
Dim htdoc As HTMLDocument
Set htdoc = ie.document

Dim ret As String
ret = htdoc.getElementsByTagName("HTML")(0).outerHTML & vbCrLf

Set TSO = FCK.OpenTextFile(TGT, 2, True)

With TSO
    .WriteLine (ret)
    .Close  'ファイルのクローズ
End With

End Sub

Answer 1

会員一覧ボタンを押しても現在のところスクリプトエラーでそれらしい情報は表示されません。
もしその情報をきちんと取られているなら、そのHTMLより正規表現などを使って抽出されれば良いかと思います。（テキストファイルにHTMLを出力する必要は無いです）
でも、他の方も書かれていますが、初めからEXCELでデータが取れるなら、何のために必要なのでしょうか？

Comments

[TomoyaOkada]

回答して頂きありがとうございます。
数時間ごとに表の内容が変わることがあるので、定期的にエクセルのデータを取りに行かなければなりません。
ですので、自動で定期的にデータを取りに行けるようにしたいと考えています。

何か良い方法があれば教えて頂けると助かります。

[Guu]

なるほど。他の方への回答で表示できない理由が判りました。
まずURLを直接たたいてもダメです。
これは検索パラメーターをgetではなくpostでわたしているからです。
なのでXMLHTTPを使って、postしてあげて戻りのHTMLから正規表現で必要な内容を抽出すれば良いでしょう。
同様にExcelの方のデータも可能だと思います。
定期的に自動的で実行するにはスケジューラーを使えば良いでしょう。タイマーを使い順で実装するより楽だと思います。
ここはエンジニアのサイトと言うことなので、実際の実行コードの開示は適切ではないと思いますのでヒントまでにしておきます。
とりあえずXMLHTTPをググってみてください。postの意味が判らなければ、かなり基本的な知識が不足しているのでゴールまではかなりあります。
頑張ってください。

Answer 2

単純に、掲載の
https://www.equitation-japan.com/index.php?menuindex=101-102
では、な～～～～にも情報がでません。
なのは、判っていますよね？
情報を取得したいのであれば、
正規に、ログインした後に、
規定手段にて、サイトアクセスする必要があります。
博打系の方は、「楽してプログラムを作ってもらう方法」の様な事を読んでいらっしゃるようですが、
技術系掲示板では、迷惑なだけです。
質問の方法を考えるか、もっと真面な質問に変える必要があります。

Comments

[TomoyaOkada]

質問の仕方が悪くてすみません。

（トップページ）　https://www.equitation-japan.com/
　　　↓
会員・乗馬情報
　　　↓
　　会員情報
　　　↓
テキストボックスなどには何も入力せずに検索

上記の手順で、https://www.equitation-japan.com/index.php?menuindex=101-102
のサイトにアクセスしています。

FirefoxのLive HTTP Headers というアドオンを使い、HTTPヘッダーを見てみると会員氏名などが出てくるので、HTTPヘッダーを取得できるようなプログラムを作れれば良いです。

※HTTPヘッダーの中身で、一行の文字数が多くてLive HTTP Headersで見ようとすると文字化けしている部分がます。
なので、テキストファイルに一度すべてを保存してから、メモ帳で見ています。

何か参考になるサイトでも教えて頂けると助かります。

Answer 3

検索後、右上に表示される薄緑の「会員一覧」のボタンからエクセル出力ができるようです。
生成はすこぶる遅いようですが、これでは駄目なのでしょうか。