C# スクレイピング フォームアプリケーション

Question

前提・実現したいこと

C#のフォームアプリケーションで
取得したWEBページのソースを解析して、
任意の文字列がある行のみ抜き出したファイルを生成したいです。
求人サイトのURLから、
会社名のみを抽出をしたいです。
それができたらテキストボックスで会社名を指定し、
該当の会社名の情報を取得し、ファイルに保存するという処理をしたいです。

今回は全ての会社名を抜き出す処理を実現したいです。

発生している問題・エラーメッセージ

WEBページのソースを取得することはできたのですが、解析ができないです。
取得したHTMLをParseDocumentで解析したら、会社名ではなく
AngleSharp.Html.Dom.HtmlParagraphElement
という文字列が代入されてしまいます。

該当のソースコード

        private void ParseHtmlButton_Click(object sender, EventArgs e)
        {
            string Url = UrlNameTextbox.Text;

            var scraping = new Scraping();

           //htmlには正しくHTMLが入る
            string html = scraping.GetData(Url);

            var parser = new HtmlParser();

            //docにAngleSharp.Html.Dom.HtmlParagraphElement　という文字列が入ってしまう
            var doc = parser.ParseDocument(html);

            var companyList = doc.GetElementsByClassName("company");

            using (var wt = new StreamWriter(@"get.txt", false, Encoding.GetEncoding("shift_jis")))
            {
                foreach (var c in companyList)
                {
                   //生成されたファイルを確認すると　AngleSharp.Html.Dom.HtmlParagraphElement　が複数行入力されている
                    wt.WriteLine(c);
                }
            }
        }

HTML取得のクラス

        public String GetData(string Url)
        {
            HttpWebRequest myReq = (HttpWebRequest)WebRequest.Create(Url);
            WebResponse myRes = myReq.GetResponse();

            using (var rd = new StreamReader(myRes.GetResponseStream(), Encoding.GetEncoding("shift_jis")))
            {
                string result = rd.ReadToEnd();
                return result;
            }

        }

試したこと

基本的に下記サイトを参考にしました。
https://emotionwave.hatenablog.com/entry/2020/01/31/100000

ParseDocument　ではなく、 Parse　を使用しているサイトがあったので、
使用したところCS1061エラーが出ました。

補足情報（FW/ツールのバージョンなど）

AngleSharp 0.14.0
VisualStudio 2019

Comments

[Zuishin]

c が文字列でないのでしょう。ブレークポイントを張り、どのようなオブジェクトでどのようなプロパティを持っているかを確かめてください。

[退会済みユーザー]

アクセス先のサイトの所有者・管理者に許可は得ているのでしょうか？

[hemegi]

Zuishin様
ありがとうございます。
ブレークポイントを張り確認することで解決ができました。

SurferOnWww様
ご指摘ありがとうございます。
学習用にサイトを使用していたので許可が必要なことを知らなかったです。
自作のHTMLを使用するようにします。
公開されているサイトを使用する場合は許可を取ります。

Answer 1

ファイルに書き込みの箇所を以下のように変更し、解決しました。

                foreach (var c in companyList)
                {
                    wt.WriteLine(c.TextContent);
                }