simple_html_domでのスクレイピングについて

Question

はじめまして。お世話になります。
現在PHPサイトを作成しており、simple_html_domを使用した特定URLからの
スクレイピングについて教えて頂きたく投稿します。

やりたいことは以下の内容です。
①URL先の特定タグの中身の取得。
②その中から<a>、<img>タグを削除。
③上記内容を表示。

現在、①までは出来たのですが、②でのタグ削除が出来ずに困っています。
ご存知の方がいらっしゃいましたらご教授の程、よろしくお願いします。

以下、ソース内容です。

<?php include_once('simplehtmldom_1_5/simple_html_dom.php'); // インクルード $html = file_get_html( 'http://XXXXXX.html' ); // 対象URLの指定 foreach($html->find('div[class="content"]') as $element){ // 内容を取得 echo $comment . '<br>'; // 表示 } ?>

Answer 1

コメントでは Markdown が使えないようなので、新たに回答を立てます。

入力は以下の sample.html が前提です。

<div class="content">
<p>あいうえお</p>
<a href="http://AAAA.com">AAAA</a>
<p>かきくけこ</p>
</div>
<p>さしすせそ</p>

(1) <div class="content">自体の削除
これは単純に find で見つかったノードの outertext を空にしてやればよいです。

<?php
require_once 'simple_html_dom_1_5/simple_html_dom.php';
$html = file_get_html('sample.html');
foreach ($html->find('div[class="content"]') as $elem) {
    $elem->outertext = '';
}
echo (string)$html;

で出力は以下になります。

<p>さしすせそ</p>

(2) 特定文字列の削除、置換
こっちは、以前のコールバック関数に文字列置換を追加してやれば良さそうです。
改行コードを残すために $stripRN を false にしてみました。

<?php
require_once 'simple_html_dom_1_5/simple_html_dom.php';
$html = file_get_html('sample.html',
    false, null, -1, -1, true, true, DEFAULT_TARGET_CHARSET, false);

$html->set_callback(function($element) {
    if ($element->tag == 'img' || $element->tag == 'a') {
        $element->outertext = '';
    }
    if ($element->tag == 'p' && $element->innertext == 'あいうえお') {
        $element->innertext = 'ぱぴぷぺぽ';
    }
});

foreach ($html->find('div[class="content"]') as $elem) {
    echo $elem->innertext;
}

これの出力は以下になりました。

<p>ぱぴぷぺぽ</p>

<p>かきくけこ</p>

Comments

[tennensui0901]

ご回答ありがとうございます。
時間が取れずまだ試せておりませんがご回答内容の結果から
実現可能に見えますので一度締め切らせて頂きます。

またわからないことがありましたら投稿させて頂くことも
あると思いますのでその時もどうぞよろしくお願いします。
長期に渡りお付き合い頂きましてありがとうございました。

Answer 2

以下のように set_callback メソッドを使って img と a タグの出力を空にすると、それを除いたエレメントだけになりますね。

require_once 'simplehtmldom_1_5/simple_html_dom.php';

$html = file_get_html('sample.html');

$html->set_callback(function($element) {
    if ($element->tag == 'img' || $element->tag == 'a') {
        $element->outertext = '';
    }
});

foreach ($html->find('div[class="content"]') as $elem) {
    echo $elem->innertext;
}

これを実行すると

<p>あいうえお</p>  <p>かきくけこ</p>

という出力が得られます。改行を残したいのならば、file_get_html() の引数 $stripRN を false に指定しましょう。

Comments

[tennensui0901]

出来ました！ありがとうございます！

set_callback関数というものがあるのですね。
file_get_htmlについて調べていたのですがWebでは見つけることが出来ておらず、
ソースコードから逆に読み解くこともできなくて。。

もしよろしければ後学のためにお教えいただきたいのですが、以下のようなことも実現可能でしょうか。
①<div class="content">自体の削除

②特定文字列の削除、置換
■結果
----------------------------------------------------------------------
<p>ぱぴぷぺぽ</p>
<p>かきくけこ</p>
----------------------------------------------------------------------

よろしくお願いします。

[koyhoge]

> ①<div class="content">自体の削除
の意味がちょっと分からないのですが、例えば
```lang-html
<div class="content">
<p>あいうえお</p>
<a href="http://AAAA.com">AAAA</a>
<p>かきくけこ</p>
</div>
<p>さしすせそ</p>
```
のときに
```lang-html
<p>さしすせそ</p>
```
にするということですか?

[tennensui0901]

ご回答ありがとうございます。
①の意味はご認識の通り、<div class="content">～</div>の削除です。

よろしくお願いします。

Answer 3

タグの削除というのは、例えば

<a>teratail</a>

の場合、「teratail」だけを抽出したいという事ですか？
であれば

<?php

require_once("simple_html_dom.php");

//simple html dom オブジェクト生成
//テスト用に文字列からオブジェクトを生成しています
//urlからの生成はfile_get_htmlを使用して下さい
$html = str_get_html('<a>teratail<a>');
//aタグで抽出
$value = $html->find("a");

echo $value[0]->plaintext;

?>

とすれば「teratail」だけ抽出できます。
ブラウザから開き、ソースを参照した時の結果です。
![イメージ説明]WIDTH:55
ちなみに、

<?php

require_once("simple_html_dom.php");

//simple html dom オブジェクト生成
//テスト用に文字列からオブジェクトを生成しています
//urlからの生成はfile_get_htmlを使用して下さい
$html = str_get_html('<a>teratail<a>');
//aタグで抽出
$value = $html->find("a");

echo $value[0];

?>

とすると、
![イメージ説明]WIDTH:101
となります。
参照できるのは、
plaintext : textのみ抽出
innertext : タグ情報を含めたデータを抽出
outertext : まるごと抽出
のようです。

Comments

[at1994]

回答ソースコードで、str_get_htmlに渡している文字列の終了タグに「/」が付いてませんでした、すみません。
<ソースコード>
$html = str_get_html("<a>teratail</a>");
〜
echo $value[0]->plaintext;
<実行結果 >
teratail

<ソースコード>
echo $value[0];
<実行結果>
<a>teratail</a>

[tennensui0901]

ご回答ありがとうございます。
説明が不足していました。済みません。

対象URLのHTMLと結果は以下のようなものを想定しています。
■対象URLのHTML
----------------------------------------------------------------------
<div class="content">
<p>あいうえお</p>
<a href="http://AAAA.com">AAAA</a>
<p>かきくけこ</p>
</div>
----------------------------------------------------------------------

■結果
----------------------------------------------------------------------
<p>あいうえお</p>
<p>かきくけこ</p>
----------------------------------------------------------------------

引き続きよろしくお願いします。