htmlからxmlに変換したコードの中身を取得できない

Question

###困っていること
いつもお世話になっております。
現在もハローワークのスクレイピングを作成しており、案件ごとの情報を取得しようとパスを作成しようとしています。
ただ、現在取得の仕方が誤っているからなのか、値を取得できておりません。
おそれいりますがご助力いただけないでしょうか？

###コード

foreach ($crawler as $key => $value) {
            $value = explode('-', $value);
            
            $former = trim($value[0]);
            $latter = trim($value[1]);
            
            $projectUrl = 'https://www.hellowork.go.jp/servicef/130050.do?screenId=130050&action=commonDetailInfo&kyujinNumber1='.$former.'&kyujinNumber2=%0A'.$latter.'&kyushokuUmuHidden=&kyushokuNumber1Hidden=&kyushokuNumber2Hidden=';
            
            $projectIntent = file_get_contents($projectUrl);
            
            $dom = @DOMDocument::loadHTML($projectIntent);
            $xmlString = $dom->saveXML();
            $xml = simplexml_load_string($xmlString);
            $key = $xml->body->div->div->div[3]->div->div[1]->table->tbody->tr[1]->th;
            $key = (string)$key;var_dump($key);
}

コードは上記のようになっております。取得できない箇所は、下の方にあります$keyになります。
また、取得できないページは各案件のページになります。
https://www.hellowork.go.jp/servicef/130050.do

よろしくお願いいたします。

Answer 1

そもそもこれどのくらいのページ数をスクレイピングしてるんですか？
相手サーバーの負荷を考えてない非常識なスクレイピングならやめたほうがいいです。

ハローワークは一応禁止とは書かれてませんが転載に条件はあります。
https://www.hellowork.go.jp/info/sitepolicy.html

ハローワークならAPIもあります。
ただしただのCSVをダウンロードできるだけだし利用許可をもらうのもものすごく難しいという何のためのAPIなのか分からないひどい仕様。
まともな会社ならこのくらいは対応すべきですけど。

Comments

[退会済みユーザー]

ご指摘ありがとうございます。
そちらについても念頭に置きつつ開発は進めております。
ただ、kawax様の内容は私の質問への解答ではないものと思われます。
したがってこちらの質問については閉めさせていただきますね