C# Html Agility Pack (HAP) スクレイピング

Question

前提・実現したいこと

C#のフォームアプリケーションで
用意したHTMLのソースを解析して、
指定した会社名の行をすべて抜き出して、ファイルに保存をする処理を実装したいです。

発生している問題・エラーメッセージ

１
欲しい情報が抜き出せない、全件抽出してしまっている

２
抜き出したデータをファイルに保存すると、抜き出したはずの文字列ではなく

System.Linq.Enumerable+WhereEnumerableIterator`1[HtmlAgilityPack.HtmlNode]

```という文字列が表示される


今回はデータが３つあるので
```txt
System.Linq.Enumerable+WhereEnumerableIterator`1[HtmlAgilityPack.HtmlNode]
System.Linq.Enumerable+WhereEnumerableIterator`1[HtmlAgilityPack.HtmlNode]
System.Linq.Enumerable+WhereEnumerableIterator`1[HtmlAgilityPack.HtmlNode]

というデータが保存されてしまう

該当のソースコード

<div class="job-item">

    <p class="company">
        <span>ABC株式会社</span>
    </p>

    <h2 class="title">インフラエンジニア</h2>

    <p class="main">エンジニアがスキル・収入UPできる環境</p>

</div>



<div class="job-item">

    <p class="company">
        <span>株式会社あいうえお</span>
    </p>

    <h2 class="title">PM候補</h2>

    <p class="main">スキルを活かしたい方</p>

</div>



<div class="job-item">

    <p class="company">
        <span>ABC株式会社</span>
    </p>

    <h2 class="title">WEBエンジニア</h2>

    <p class="main">エンジニアがスキル・収入UPできる環境</p>

</div>

var doc = new HtmlAgilityPack.HtmlDocument();

//HTMLファイル読み込み
StreamReader sr = new StreamReader(@"html.txt", Encoding.GetEncoding("Shift_JIS"));
            string str = sr.ReadToEnd();
            sr.Close();


//読み込んだHTMLをパース
doc.LoadHtml(str);
            
//会社紹介の行全体（job-item)を読み込み、companyの中身（会社名）がABC株式会社の行を抜き出したい
var nodes = doc.DocumentNode.SelectNodes(@"//*[@class=""job-item""]")
            .Select(y => y.Descendants()
            .Where(x => x.Attributes["class"].Value == "company")
            .Where(x => x.InnerText.Trim() == "ABC株式会社"));

//取得したデータをファイルに書き込み
using (var wt = new StreamWriter(@"get.txt", false, Encoding.GetEncoding("shift_jis")))
    {
        foreach (var node in nodes)
        {
            wt.WriteLine(node);
        }
    }

試したこと

取得した文字列が表示されないのは、nodeにInnerTextプロパティをつけてみましたが、HtmlNode型には定義されていないようで使用できませんでした。

LINQの部分は調べながら何度も書き直しましたが、思い通りの動きをさせられなかったです。

補足情報（FW/ツールのバージョンなど）

VisualStudio 2019
HtmlAgilityPack 1.11.24

理想

ABC株式会社
インフラエンジニア
エンジニアがスキル・収入UPできる環境

ABC株式会社
WEBエンジニア
エンジニアがスキル・収入UPできる環境

Comments

[Zuishin]

https://teratail.com/questions/285466

同じ方法で調べたら解決するんじゃありませんか？

[hemegi]

ありがとうございます。
同じ方法で調べたのですが、InnerTextに欲しいデータがありました。

前回同様に書き込む変数にInnerTextプロパティをつけてみると、
'IEnumerable<HtmlNode>'に'InnerText'の定義が含まれておらず.....
というエラーが発生します。

[Zuishin]

IEnumerable<T> にはありません。foreach で列挙してください。

Answer 1

using System.IO;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;

namespace Hogehoge
{
    internal static class Program
    {
        private static void Main()
        {
            var doc = new HtmlAgilityPack.HtmlDocument();

            var sr = new StreamReader(@"html.txt", Encoding.GetEncoding("Shift_JIS"));
            var str = sr.ReadToEnd();
            sr.Close();

            doc.LoadHtml(str);

            var nodes = doc.DocumentNode.SelectNodes(@"//*[@class=""job-item""]")
                .Where(x => x.ChildNodes["p"].Attributes["class"].Value == "company" &&
                            x.ChildNodes["p"].InnerText.Trim() == "ABC株式会社");

            using (var wt = new StreamWriter(@"get.txt", false, Encoding.GetEncoding("Shift_JIS"))) {
                foreach (var node in nodes) {
                    wt.WriteLine(Regex.Replace(node.InnerText, @"^\s+", "", RegexOptions.Multiline));
                }
            }
        }
    }
}