PHPのスクレイピングで幅広い構造のサイトに対応したい

前提・実現したいこと

PHPでスクレイピングをしています。アンテナサイトのフィードから配信元のurlを取得し、更にその配信元の記事で使用されている画像を取得しています。
htmlの構造が違うサイトでも確実に画像が取得できるようにしたいです。

発生している問題・エラーメッセージ

rssであればlinkやtitleといった値はどのサイトにも共通してありますが、DOMで値を指定するタグやidは各サイトによって名前が異なる場合があります。
対応できるようにするためには何が必要でしょうか。

該当のソースコード

PHP
1<?php
2	$rssdata = simplexml_load_file("http://2chnavi.net/headline/?rss=1");
3
4	// 読み込み件数を決定する
5	$num_of_data = 5;
6
7	//出力内容の初期化
8	$outdata = "";
9
10    
11	//設定した読み込み件数分だけ取得を繰り返す
12	for ($i=0; $i<$num_of_data; $i++){
13		$entry = $rssdata->channel->item[$i]; //記事1個取得
14		$date = date("Y/m/d", strtotime($entry->pubDate));
15		$title = $entry->title; //タイトル取得
16		$link = $entry->link; //リンクURL取得
17
18		//出力内容に日付けを入れる
19		$outdata .= '<li><a href="' . $link . '" target="_blank">' ;
20
21		//出力内容にリンク付きでタイトルを入れる
22		$outdata .= '<span>' . $title . '</span></a>'.' '. $date .'</li>';
23        
24        
25        require_once("phpQuery-onefile.php");
26        $html = file_get_contents($link);
27        $doc = phpQuery::newDocument($html)->find("td")->find(".entry_title:eq(0)")->attr("href");
28        
29        
30        $html3 = file_get_contents($doc);
31        
32        if( parse_url($doc)['host']=="summary.livedoor.biz" ) $html3 = "<html>".$html3;
33        
34        $html2 = phpQuery::newDocument($html3)->find("article")->find(".article-body")->find("img:eq(0)")->attr("src");
35        
36        
37        $um .= '<li><img class="um" src="'. $html2 .'">'. '<p class="rt">'. $title . '</p>';      
38	}
39   
40    echo'<ul class="io">' . $um . '</ul>';  
41    ?>

行動規範の内容に同意します

回答2件

ベストアンサー

記事ごとに OGP タグが設定されているサイトが多いので、<meta property="og:image" content="画像URL" /> から画像URLを取得し、無いものに関しては例外としてセレクターを手作業で入れる方法が確実じゃないかなと思います。

完全自動化したいのなら、OGP イメージが見つからなかった場合に、適当なライブラリなり API なりで HTML の本文抽出を行って、最初に出てくる画像を取得する、とか。

投稿2018/08/04 16:49

yhg

総合スコア2161

退会済みユーザー

2018/08/04 23:35

ありがとうございます。OGPタグを知らなかったので大変勉強になりました。条件分岐でカバーしていきたいと思います。

行動規範の内容に同意します

引数を渡すと、phpQuery::newDocument($html)->find("td")->find(".entry_title:eq(0)")->attr("href");のような構文を実行したのと同じ結果を返してくれる関数があればいいのかなと思います。

概念的には(APIをみてないので)

PHP
1function Detector($doc /*phpQuery::newDocument($html)*/, $find = ["td",".entry_title:eq(0"], $targetAttr = "href") {
2  foreach($find => $sel) {
3    $doc = findDoc($doc, $sel);
4  }
5  return $doc->attr($targetAttr);
6}
7function findDoc($doc /*phpQuery::newDocument($html)*/, $selector = "td") {
8  return $doc->find($selector);
9}

とか。

投稿2018/08/03 15:19

papinianus

総合スコア12705

退会済みユーザー

2018/08/03 23:02

ありがとうございます。記事部分が「articleタグ」でなかったり「.article-body」というクラス名でないサイトもあると思いますが、この関数に渡す引数の値を各サイト毎に取得する処理も必要なんですよね？サイトのhtml情報渡せばこの条件で対応できるのでしょうか。

papinianus

2018/08/04 16:05

プログラム的にhtmlの構造を解析することは可能だと思いますが、ページ中のどこに"ユーザが欲しいデータ"があるかは、人間が意味を判断しないといけないので、それを"取得"するというのは変ではないでしょうか(例えば2chのrssのようですが、掲示板のレスが欲しいという局面と、どのような広告が出ているか調べたいという局面と、画像だけ集めたいという局面とでは、欲しいタグは異なります。もちろん「幅広く」を単純に2chのログを色々なまとめブログサイト別に集積したい、という程度にとても狭く考えておられるなら話は違ってくるのかもしれません) 回答した時点で考えていたのは、設定ファイル(やデータベース)に、urlと追跡すべきDOM構造をあらかじめ調査して設定しておくということです。 (例えば、{url:"http://2chnavi.net/headline/?rss=1", find:["td",".entry_title:eq(0"]:target:"href"}みたいな設定を別途持っておく。あるいは、このrssからだと、{domain:"livedoor", find = ["article"]}みたいな設定がいいのかもしれません。そこは用途次第です) もし、webアプリというなら、urlと探査タグをユーザが入力するフォームインターフェースを入れてもいいかもしれないですが、いずれにしても、どういうurlだったらどういうタグなのか、はプログラムに人間が与えるデータです。なので、「この関数に渡す引数の値を各サイト毎に取得する処理」が必要なのではなく「各サイト毎に保存したり読み出したりする処理」が必要だと思います。

退会済みユーザー

2018/08/04 23:42

返信ありがとうございます。目的の値を自動的に取得するのは無理に近い話ですよね。記事内の画像といっても、記事のタグがサイト毎に違ったり画像位置もバラバラですし。他サイト「http://ki-topo-ka.com/」見ると2行4列で外部rss画像取得完璧にされていたので、簡単にできるのかと考えましたが甘かったです。幅広いサイトに対応するというより、1つ1つのサイトに対応した処理を地道に揃えていくのが現実的ですね。

行動規範の内容に同意します

あなたの回答