Q&A
コード部分の始まる前と後に、```ってバッククオート3文字だけの行を挟むと読みやすくなるので、どうか直してほしい。
phpを勉強して一ヶ月の初心者です。
今作ろうとしているものが、webアプリケーションなのですが、
検索画面に好きなキーワードを打ち込むと、グーグルの検索結果の上から１０個のリンクの中から、会社名とそのURLをスクレイピングしてリスト化する
というものを作ろうとしています。
現在、検索画面は作り終えて、そのキーワードからスクレイピングをする手段がわからず困っています。
どなたかお力添えをよろしくお願いいたします。
検索画面のコード <!DOCTYPE html> <html lang="ja"> <head> <meta charset="utf-8"> <title>Sales Lists makeTool</title> <link rel="stylesheet" type="text/css" href="style.css"> </head> <body> <center> <br><br><br> <img src="Sales Lists make Tools.png"> <h3>あなたが検索したいキーワードを入力して送信すれば<br> 必要な会社の情報を自動でリスト化してくれるツールです。<br><Br> 早速入力してしみまょう！ </h3><br><br> <form action ="result.php" method="post"> <input type="text" name="text" placeholder="検索したいキーワードを入れてください" size=80 required><br><br> <input id="submit_button" type="submit" value="送信する" name="submit"> </form> </center> </body> </html>
結果画面のコード <?php //特殊文字をエスケープさせる function h($str) { return htmlspecialchars($str, ENT_QUOTES, 'UTF-8'); } //simple~の変数や関数を使えるようにする require_once('simple_html_dom.php'); $keyword = $_POST['text']; $urlStr = 'https://www.google.co.jp/webhp?sourceid=chrome-instant&rlz=1C5CHFA_enJP733JP733&ion=1&espv=2&ie=UTF-8#q=' . urlencode($keyword); mb_language('Japanese'); $source = file_get_contents($urlStr); $source = mb_convert_encoding($source, 'utf8', 'auto'); $dom = str_get_html($source); //ここの記述がわかりません。 if(isset($_POST['text'])){ $text = $_POST['text']; } ?> <!DOCTYPE html> <html lang="ja"> <head> <meta charset="utf-8"> <title>Sales Lists makeTool</title> <link rel="stylesheet" type="text/css" href="style.css"> </head> <body> <center> <br><br><br> <img src="Sales Lists make Tools.png"> <h3>あなたが検索したキーワード<br> <?php echo $text ?></h3> </center> </body> </html>
慣れていないもので、すみません。編集しなおしてみました。いかがでしょうか？
Good. 更に質問、「sample_html_dom.php」ってのは、もしかして http://so-zou.jp/web-app/tech/programming/php/library/simplehtmldom/ で紹介されている simple_html_dom.php のことでしょうか。
その通りです！ ライブラリとしてこのファイルを読み込むことでスクレイピングの手助けになるとあったので・・・
あっ、sample じゃなくて simpleですね・・・すいません
回答2件
0
ちなみに、googleの検索画面を機械的にクロールすることを禁止しています。
とはいえ、最初はクロールできます。ですが、しばらくするとブロックされます。
有料ですが、グーグルの検索結果を正規に使う方法(Google Custom Search API)がありますので、そちらの利用を検討したほうがよろしいかと思います。
投稿2017/04/07 18:56
総合スコア1939
0
「ここの記述がわかりません」
そりゃそうだよね、スクレイピングとは何か、一言で片付けられる技術じゃないもの。
webページはhtml言語やスタイルシートやjavascriptなどが複合して出来ていることは理解できているでしょうか。
simple_html_dom.php に限らず DOM操作するものは、
webページを構成するhtmlの構造を理解して、
機械的に条件に合致する箇所を抽出して利用する術になります。
じゃぁどうなっているのか、とGoogle検索結果のページのhtmlソースを見てみましょう。
ここからhtml要素を紐解いて欲しい情報を抽出することになるのですが、
ソースを理解してどこにどんな情報があるかを把握しないと、
「ここの記述がわかりません」を埋めるコードなんて書けないのです。
私も構造は理解できてません。ので、回答ズバリは提供できません、申し訳ありません。
でもね、スクレイピングなんてやらなくても検索結果を取得して加工する術があるのです。
Google Custom Search APIを使って検索結果のURLを取得する【PHP】 - autofocus onfocus
Google Custom Search API を使ってみる - Qiita
・・あたりを読んでみてください。
投稿2017/04/07 07:56
退会済みユーザー
総合スコア0
丁寧にありがとうございます！
スクレイピングの他にAPIという方法があるのは知っていたのですが、スクレイピングの方がまだ簡単だとどこかに書いていたのでスクレイピングにこだわってしまっていました。
リンク先にお邪魔したのですが、難しい内容ですぐには理解できなさそうなのでじっくりと読んでみることにしますね！
一般的なwebサイトに対するスクレイピングであれば、やれなくもないです。
しかし、検索結果をビジネスとしてやっているところは、意図しない二次利用などされないようにwebページのソースを難読化して構造を把握しようという気力を削ぎに来ます。
いきなりGoogle検索結果にチャレンジせず、一般的なwebサイトで力をつけてからでもいいのではないでしょうか。
なるほど、段階を踏めということですね。
そうですよね、そうしてみます！ありがとうございます！
あなたの回答
tips
プレビュー
