[PHP]大量のHTMLファイルをパースするには

Question

ローカルに大量のHTMLファイルがあります。これらのファイルからすべてのリンクを抽出するスクリプトを書きたいのですが、いまいち方法が分かりません。正規表現で<a>タグの部分だけを抽出すればよいのかな？と思っていますが････。
PHPで同じようなことをやられたはいませんか？

Answer 1

正規表現だとかなり大変です。
DOMを使いましょう。

$res = array();
$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile("./links.html");

$elements = $dom->getElementsByTagName('a');
foreach ( $elements as $element ) {
 $url = $element->getAttribute('href');
    // :
    // いろいろな処理
    // :
    $res[] = $url;
}

echo var_dump($arr);

これだけだとページ内リンクやサイト内リンクが「#hoge」「/access/map.html」などのままになるので、それらを修正する場合は、コメントの「いろいろな処理」のところでやればいいですね。

Simple HTML DOM Parserというライブラリもありますので、ぜひ使ってみてください。