質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Q&A

解決済

2回答

2248閲覧

スクレイピングの際に相対パスを絶対パスにしたい

退会済みユーザー

退会済みユーザー

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

1グッド

1クリップ

投稿2018/08/22 03:36

編集2022/02/01 09:34

前提・実現したいこと

自サイトではない別サイト「http://other.com/」(仮URL)から「PHP Simple HTML DOM Parser」でスクレイピングし、静的HTMLのページのトピックスを三件のみ抽出して表示しているのですが、サイトのリンクの書き方が相対パス(../../../../../oshirase/01.html といった形です)のため、抽出すると自分のサイトのURLになり、リンク切れを起こしてしまいます。

このリンクを自サイトURL:http://sample.com/oshirase/
ではなく
絶対パスのURL:http://other.com/oshirase/

としたいです。
PHPに疎いため、どういじればいいのかわかりません。(以下のコードは前担当者が昔作ったものです)
説明が拙くて申し訳ありませんが、よろしければご教授いただけますと幸いです。

該当のソースコード

<!--PHP Simple HTML DOM Parserによる読み込み/http://other.comからトピックス3件を抽出--> <div class="topix"> <?php include('simple_html_dom.php'); $html = file_get_html('http://other.com'); echo '<div class="text">'; // 日付 $out = $html->find('#stage #contents .main-contents tr .list table tr td',0); echo $out-> outertext; echo ' '; // トピックスタイトル(ここにリンクが貼られる) $out = $html->find('#stage #contents .main-contents tr .list table tr td',1); echo $out-> outertext; echo '</div>'; echo '<div class="text">'; $out = $html->find('#stage #contents .main-contents tr .list table tr td',2); echo $out-> outertext; echo ' '; $out = $html->find('#stage #contents .main-contents tr .list table tr td',3); echo $out-> outertext; echo '</div>'; echo '<div class="text">'; $out = $html->find('#stage #contents .main-contents tr .list table tr td',4); echo $out-> outertext; echo ' '; $out = $html->find('#stage #contents .main-contents tr .list table tr td',5); echo $out-> outertext; echo '</div>'; ?> <!--読み込みここまで--> </div>
henupyo107👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

そのページのURLが、http://example.com/foo/bar/baz/hoge.htmlで、リンクが../../oshirase/01.htmlだとすると、

PHP

1$url = "http://example.com/foo/bar/baz/hoge.html"; 2$link = "../../oshirase/01.html"; 3 4$abslink = dirname($url) ."/". $link;

#追記
最初の方で、

PHP

1$base = "目的ページのURLの最後のファイル名を除いた物"; 2 3例えば、http://example.com/foo/bar/baz/hoge.html なら、 4$base = "http://example.com/foo/bar/baz/";

あとは、

PHP

1// トピックスタイトル(ここにリンクが貼られる) 2$out = $html->find('#stage #contents .main-contents tr .list table tr td',1); 3echo str_replace('href="', 'href="'.$base, $out-> outertext); 4echo '</div>';

以下同じ。

投稿2018/08/22 04:03

編集2018/08/22 06:40
otn

総合スコア84423

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/08/22 06:13

はじめまして、ご回答いただきありがとうございます。 大変恐縮ではありますが、記載いただいたコードを入れる部分は <?php include('simple_html_dom.php'); $html = file_get_html('http://other.com'); の後でしょうか?初歩的な質問で申し訳ありません。 また、抽出部分のURLは毎回変わるのですが、そういった場合でも記載いただいたコードは使えますか? 以下、実際に抽出しているサイト(http://other.com/)(仮URLです)を再現したコードです。 ーーーーーーーーーーーーーーーーーーーーーーーーー <div class="list"> <table> <tbody><tr> <td class="date">2018/08/20</td> <td><a href="../../../../../foo/bar/baz/index.html">情報を掲載しました。</a></td> </tr> <tr> <td class="date">2018/08/05</td> <td><a href="../../../../../gyo/gho/asa/aaa/abc.html">情報を掲載しました。</a></td> </tr> <tr> <td class="date">2018/08/05</td> <td><a href="../../../../../gyo/pop/ewe/www/uuu.html">情報を掲載しました。</a></td> </tr> </tbody> </table> </div> ーーーーーーーーーーーーーーーーーーーーーーーーー 何卒よろしくお願いいたします。
otn

2018/08/22 06:26

具体的にどこに入れるのかは分かりません。 URLを出力している部分に差し込んでください。
otn

2018/08/22 06:33

コードをちゃんと見ると、なんと、echo $out-> outertext で、取得したHTMLをそのまま表示しているんですね。こういうのは普通は絶対やりません。 ということは、Aタグを置換かな。 追記しておきます。
退会済みユーザー

退会済みユーザー

2018/08/22 07:08 編集

望んでいた動作になりました!! 1ヶ月以上悩んでおりました。ご回答頂き本当に本当にありがとうございました!! もっとPHP等について勉強いたします。本当にありがとうございました!
guest

0

この回答は削除されました

投稿2022/02/01 00:33

編集2022/02/01 00:34
henupyo107

総合スコア202

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問