###わからないこと
いつもお世話になっております。
この度下記のサイトのスクレイピングを行いたくTidyを使ってhtmlの不正文字を修正しようとしています。
しかしタイトルにあるようなエラーが出てしまい、先に進むことができません。
コードは下記のようになっております。
$projectUrl = 'http://www.kaigokensaku.mhlw.go.jp/13/index.php?action_kouhyou_detail_2016_033_kihon=true&JigyosyoCd=1372400638-00&PrefCd=13&VersionCd=033'; $dom = new \DOMDocument(); $tidy = new \Tidy; $ch = curl_init(); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_ENCODING, 'gzip'); curl_setopt($ch, CURLOPT_URL, $projectUrl); $detailRes = curl_exec($ch); $tidy->parseString($detailRes, array(), 'utf8'); $tidy->cleanRepair(); $detailRes = $tidy->html(); unset($tidy); $dom->encoding = 'UTF-8'; $dom->preserveWhiteSpace = false; $dom->loadHTML($detailRes); $xpath = new DOMXPath($dom);var_dump($xpath);dd();
下記のサイトを参考にしています。
https://qiita.com/osapon/items/5f26263d9ebf4268d7f3
###やったこと
curlにしているのが問題なのかと思い、file_get_contentsに変えてみましたが、変わりなくエラーが出てしまいました。
###追記
下記のコードのように行った結果、xml形式でページ全体を取得できましたので報告いたします。
##解決方法
ini_set('display_errors', true); error_reporting(E_ALL); $projectUrl = 'http://www.kaigokensaku.mhlw.go.jp/13/index.php?action_kouhyou_detail_2016_033_kihon=true&JigyosyoCd=1372400638-00&PrefCd=13&VersionCd=033'; $dom = new \DOMDocument(); $tidy = new \Tidy; $ch = curl_init(); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_ENCODING, 'gzip'); curl_setopt($ch, CURLOPT_URL, $projectUrl); $detailRes = curl_exec($ch); $detailRes = str_replace('&', '&', $detailRes); $config = array( // 'drop-empty-elements' => false, // 空の要素を削除しない 'hide-comments' => true, // コメントを削除 'output-xhtml' => true, // xhtml に変換 ); $tidy->parseString($detailRes, $config, 'utf8'); $tidy->cleanRepair(); $xml = simplexml_load_string($tidy);var_dump($xml);dd();
※Tidyにてhtmlを正しい形に整形しました。
※また下記のサイトを参考にしました。
https://qiita.com/ShibuyaKosuke/items/86b7a17a57583e8fb4e3
htmlのコードがひどいサイトをスクレイピング
同じような現象に困った方々の助けになれば幸いです。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。