VBAでHTMLに対してXPathで取得する良い方法ないですか？

Question

最近、スクレイピングなんてものが流行ってるようで、
私も簡単な処理を頼まれててVBAで作りました。

MSXMLというものがあるので、
これでXPAthで簡単に取れるだろうと思ったのですが、どうもうまくいきません。
XMLを前提にしているので、HTMLだとタグ等が壊れている場合も多く、エラーになります。
まぁ、当たり前と言えば当たり前ですが。

納期があるので、今回はDomでgetElementBy〜で処理したのですが、
なんとなく、XPathの方がオサレだよなぁと思うわけです。

今後も含めて何かいい方法があるに違いないと思って調べてみると
validateOnParse = False とすると良さ気なのでやってみても
警告レベルのエラーでもパース出来ず結局エレメントが取得できません。

Webのサンプルを参考にしながらテストでこんな風に書きました。

Sub XPathTest()

    Dim dom As DOMDocument30
    Set dom = New DOMDocument30
    dom.async = False
    dom.validateOnParse = False
    dom.setProperty "SelectionLanguage", "XPath"
    
    Dim objXML As New MSXML2.XMLHTTP
    Dim ret As Boolean

    With objXML
        .Open "GET", "http://www.example.com/", False
        .send (Null)
        ret = dom.LoadXML(.responseText)
    End With

    Dim nodelist As IXMLDOMNodeList
    Set nodelist = dom.DocumentElement.SelectNodes("//tr")
       
    Debug.Print nodelist.Item(0).nodeName

End Sub

処理を渡す前にHTMLをある程度加工してあげればうまくいくかもとも思いましたが、
ちょっとやっぱり現実的ではないですよね。

調査する際は、ブラウザのコンソールで$x('//tr')とかやるとさっくり取ってくれます。
PHPでもダメなのかと思って書いてみたら、警告は出るもののエレメントの取得は出来ます。

なので、VBAでもなんとかうまいこと出来ないものかと思って調べてみても、
なかなかこれはという情報に行き当たりません。

MSXMLじゃなくてもいいので、XPathエンジン的なものでも
呼び出して処理するというような方法は無いものでしょうか？

何か情報がございましたら、ご回答よろしくお願い致します。

Answer 1

ご質問の内容に対して直接的な回答ではないのですが。。。

まっとうにXMLドキュメントとして扱うのは困難なことが確かに多いですね。
しかも正規表現を使った方が圧倒的にパフォーマンスが上がってしまったので、正規表現を使うことにしたことがあります。

Comments

[Mr_Roboto]

ありがとうございます。

なるほど正規表現ですかぁ、改行とかあっても大丈夫なのかなぁという心配がありますけどねぇ。
(1行にしちゃえばいいのかな)

XPath使いたいなぁｗ

Answer 2

MSXMLはXMLパーサーです．XMLを入力としてDOMを作りXPathを使えます．でもHTMLは入力にはなりえません．それを解決する手段が他の方も言及されているXHTMLとすることです．

もうご覧になっていらっしゃると思いますが、サンプルは以下です．

Using MSXML with HTML
https://msdn.microsoft.com/en-us/library/ms759123%28v=vs.85%29.aspx?f=255&MSPPError=-2147217396

引用テキストvalidateOnParse = False とすると良さ気なのでやってみても

これは単に入力XMLをスキーマやDTDで検証しないだけで、入力がwell-formedなXMLである条件には変わりはありません．

調査する際は、ブラウザのコンソールで$x('//tr')とかやるとさっくり取ってくれます。

世の中のブラウザはHTML DOM+XPathをサポートしているので、ブラウザコンソールではできちゃいますね～．

という訳でMSXMLは入力がXHTMLでない限りあきらめられた方が良いと思います．

以上 少しでもお役にたてば．

［追記］
コメントに書きましたプログラムです．

Imports System.Xml
Imports System.Xml.XPath
Imports System.Text.Encoding
Imports Sgml
Module HtmlXPathModule
    Sub Main()
        Dim xw As XmlWriter = CreateXmlWriter("maxTemp.xml")
        xw.WriteStartElement("tempDataRoot", "")
        Dim sgml As SgmlReader = New SgmlReader()
        sgml.DocType = "HTML"
        sgml.Href = "http://www.data.jma.go.jp/obd/stats/data/mdrr/synopday/data1s.html"
        sgml.IgnoreDtd = True
        Dim htmlDoc As XDocument = XDocument.Load(sgml)
        Dim nsTable As NameTable = New NameTable
        Dim nsMgr As XmlNamespaceManager = New XmlNamespaceManager(nsTable)
        nsMgr.AddNamespace("xhtml", "http://www.w3.org/1999/xhtml")
        Dim targetTrs As IEnumerable(Of XElement) = htmlDoc.XPathSelectElements("//xhtml:table[@class = 'o1']//xhtml:tr[@class != 'o1h']", nsMgr)
        For Each tr As XElement In targetTrs
            Dim targetTds As IEnumerable(Of XElement) = tr.Elements
            Dim tdArray As XElement() = targetTds.ToArray
            Dim region As XElement = tdArray(0)
            Dim maxTemp As XElement = tdArray(6)
            xw.WriteStartElement("tempData")
            xw.WriteAttributeString("region", "", region.Value)
            xw.WriteAttributeString("maxTemp", "", maxTemp.Value)
            xw.WriteEndElement()
        Next
        xw.WriteEndElement()
        xw.Close()
    End Sub

    Function CreateXmlWriter(outputPath As String) As XmlWriter
        Dim settings As XmlWriterSettings = New XmlWriterSettings()
        settings.CloseOutput = True
        settings.ConformanceLevel = ConformanceLevel.Document
        settings.Encoding = UTF8
        settings.Indent = False
        settings.NewLineChars = vbCrLf
        settings.NewLineHandling = NewLineHandling.None
        settings.OmitXmlDeclaration = False
        settings.WriteEndDocumentOnClose = False
        Dim xw As XmlWriter = XmlWriter.Create(outputPath, settings)
        Return xw
    End Function

End Module

こんなXMLが出ます．（maxTemp.xml）今日は日本列島暑いです．37℃越え（！）のところもあります．

<?xml version="1.0" encoding="UTF-8"?>
<tempDataRoot>
   <tempData maxTemp="27.1]" region="札幌"/>
   <tempData maxTemp="26.9]" region="稚内"/>
   <tempData maxTemp="26.0]" region="北見枝幸"/>
   ...
   <tempData maxTemp="37.1]" region="鹿児島"/>
   ...
   <tempData maxTemp="31.3]" region="西表島"/>
   <tempData maxTemp="33.1]" region="石垣島"/>
   <tempData maxTemp="" region="昭和"/>
</tempDataRoot>

入力はたまたまXHTMLでした．他のダーティーなのでも試した方が良いのでしょうけれども、私の家は冷房なしでこれ以上気力が持ちません... あと普段まずVisual Studioを立ち上げる機会はゼロです．おかしな点があるかもしれません、ご容赦ください．

［追記］

HtmlAgilityPackを使ってみましたが結果は散々でした．

HtmlAgilityPackでもいろいろやった末、以下のコードで動きました．エンコーディングの指定が要るようです．

Imports System.Text.Encoding
Imports System.Net
Imports HtmlAgilityPack

...

    Sub Main()
        Dim xw As XmlWriter = CreateXmlWriter("maxTemp.xml")
        xw.WriteStartElement("tempDataRoot", "")
        Dim wc As WebClient = New WebClient()
        wc.Encoding = UTF8
        Dim htmlSource As String = wc.DownloadString("http://www.data.jma.go.jp/obd/stats/data/mdrr/synopday/data1s.html")
        Dim doc As HtmlDocument = New HtmlDocument()
        doc.LoadHtml(htmlSource)
        Dim trs = doc.DocumentNode.SelectNodes("//table[@class = 'o1']//tr[@class != 'o1h']")
        For Each tr In trs
            Dim tds As IEnumerable(Of HtmlNode) = tr.Elements("td")
            Dim tdArray As HtmlNode() = tds.ToArray
            Dim regionTd As HtmlNode = tdArray(0)
            Dim maxTempTd As HtmlNode = tdArray(6)
            xw.WriteStartElement("tempData")
            xw.WriteAttributeString("region", regionTd.InnerText)
            xw.WriteAttributeString("maxTemp", maxTempTd.InnerText)
            Debug.WriteLine("region={0} max-temp={1}", regionTd.InnerText, maxTempTd.InnerText)
            xw.WriteEndElement()
        Next
        xw.WriteEndElement()
        xw.Close()
    End Sub

Comments

[Mr_Roboto]

ありがとうございます。
MSXMLじゃなくても良いのですが

[tmakita]

> MSXMLじゃなくても良いのですが

ごもっともです．単なる否定ではソリューションになっていませんね．
ご希望の最低要件は「VBAを使用する」でしょうか？？

以上

[Mr_Roboto]

そうですね、Excelでごにょごにょやる案件が今後もありそうなので、VBAでできれば一番です。

あとはそこそこメジャーなブラウザのエンジンとかなら許容範囲というか。
クリップもたくさん(３つ)ついてるので、気になる人も多いのかとｗ

そういうプロジェクトがGitHubなりSourceForgeなりにありそうなものですけどねぇ

[tmakita]

VBAで使えるという事は、要するにCOMオブジェクトでなければいけないですね．WEBで.NETのDLLをVBAから参照可能にする（つまりCOM化する）方法というのは書いてあったので、たぶんできるのでしょう．その前の段階ですけれど、.NET + VB でどこまでできるかやってみました．他の方の投稿にもありましたので、HtmlAgilityPackを使ってみましたが結果は散々でした．属性だったらまだ拾えるのですが、要素のテキストをどうこうするというのが初心者の私ではどうにもなりません．かわりに、SgmlReader（https://github.com/MindTouch/SGMLReader） + XPathでごにょごにょやって、ようやく気象庁の天気データ（http://www.data.jma.go.jp/obd/stats/data/mdrr/synopday/data1s.html）から地点と最高気温を抜き出してXMLに落とすプログラムを作ってみました．それなりに動いているみたいです．でもこのURL用なので汎用とは言えません．私はブラウザをごちょごちょいじるのはキライなので、こんなプログラムでもよろしければ回答に参考として書きますが、要りますか？

[Mr_Roboto]

ありがとうございます。

いろいろ書いていただいていただいたようで恐縮です。
他の方にも何かしらの参考になるとは思いますので、是非掲載をお願いします。
長ければ抜粋していただいて、全体はGistとかでもいいと思います。

[Mr_Roboto]

追記ありがとうございます、必要になった時に参考にしたいと思います。

Answer 3

.NETのHtmlAgilityPack.dllを、なんとかVBAから参照してXHTML変換できればもしや・・と思ったのですが、、参照できるところまでたどり着かず挫折。。
お力になれず申し訳ないす(T-T

Comments

[shouyu]

C#でHtmlAgilityPack.dllを使ったXHTML変換をするメソッドを作成して、
COMコンポーネントに登録すれば、VBAでも使えるようになりますよ。

ただRegAsm.exeを使ってレジストリに書き込みが必要になります。

[shouyu]

参考：http://www.atmarkit.co.jp/fdotnet/dotnettips/1064combycs/combycs.html

[Mr_Roboto]

ありがとうございます。

ちょっとめんどくさげですね、納品するのはちょっと厳しいような ^_^；

Answer 4

MSXMLでXPathを使って・・って思った時期が私にもありましたが、
対象のページのHTMLがそもそもXMLに準拠してない書き方だと
MSXMLは食あたりしてしまうのでダメなんだと早々に諦めた記憶があります。
ダーティーなHTMLは無理です。
HTML-lintなどのサービスでエラーが出ないほどXML準拠していたら、もしかすると。

Comments

[Mr_Roboto]

ありがとうございます。

駄目くさいですねぇ、teratailで回答が出ないということは厳しいかなぁ