質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

1回答

559閲覧

PHP「さらに表示」スクレイピング方法

guchi021077

総合スコア4

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

0クリップ

投稿2020/01/29 03:56

編集2020/01/29 04:36

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
(例)PHP(CakePHP)で●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

PHPで会社名、営業時間をCSV形式でまとめるプログラムをつくっているのですが URLを取得する際に、「さらに表示」 以降のデータを取得することができません。 取得方法等がありましたら教えていただきたいです よろしくお願いします

該当のソースコード

<?php //phpquery require_once('phpQuery-onefile.php'); //タウンワークのサイト $url = 'https://itp.ne.jp/keyword/?keyword=%E6%95%B4%E5%82%99%E5%B7%A5%E5%A0%B4&sort=01&sbmap=false'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $html = curl_exec($ch); curl_close($ch); $doc = phpQuery::newDocument($html)->find('.o-result-body'); $i = 0; foreach ($doc['.o-result-article-list__item'] as $entry){ //複数のURL $urls = pq($entry)->find('a')->attr('href'); //10回でループの終了 if ($i >= 10) { break; }else { $i++; } echo $urls; } ?>

試したこと

補足情報(FW/ツールのバージョンなど)

xamppとbracketを使用しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kyoya0819

2020/01/29 03:57

そもそもスクレイピングして良いサイトなのでしょうか?
m.ts10806

2020/01/29 04:01

初心者でわからないことだらけの状態で手を出す領域ではないですよ。>スクレイピング
m.ts10806

2020/01/29 04:03

というのもあるし、CakePHP使ってる様子もないので質問内容調整された方が良いでしょう
guchi021077

2020/01/29 04:05

最終的にはデータをCSV形式にしてまとめたいのですが 情報量が少なくてすみません
m.ts10806

2020/01/29 04:09

誰のどのコメントに対する返信でしょうか。
guchi021077

2020/01/29 04:13

m.ts10806さんに対してです。 言葉足らずですみません
kyoya0819

2020/01/29 04:14

どちらにせよ、まず質問を編集してください。
m.ts10806

2020/01/29 04:15

>m.ts10806さんに対してです。 そのようになる返答を求めた指摘はないのですけど。 「質問内容を調整してください」だけですよ。
guchi021077

2020/01/29 04:28

質問を編集いたしました 失礼いたしました。
kyoya0819

2020/01/29 04:31

埋めてない箇所があります。 埋めてください。
m.ts10806

2020/01/29 04:40

ほとんど伝わってなかったみたいですが、下記、今回の要件ですか? >ここに質問の内容を詳しく書いてください。 (例)PHP(CakePHP)で●●なシステムを作っています。 ■■な機能を実装中に以下のエラーメッセージが発生しました。 また >bracket Bracketsは知っていますし使っていますが、bracketというのは私は知りません。 見ているのは赤の他人ですのでより正しい表現をするように心がけないと伝わるものも伝わりません。 で、それ以前で 対象のサイトのスクレイピング許可はとったのでしょうか?また猫も杓子もスクレイピングだ、ってなってるようで非常に恐ろしいのですが、 スクレイピングがどんなデメリット(というかやる人への危険性)を含んでいるか理解の上でやろうとしてますか?
guchi021077

2020/01/29 04:49

ご指導ありがとうございます 自分の考えが以下に軽率かわかりました スクレイピングにつきましては調べましたが許可の取る方法等がわからず そのまましていました。 今すぐスクレイピングは中止したいと思います 注意喚起ありがとうございました
m.ts10806

2020/01/29 04:53

許可とろうたしてたことすらこの内容ではわからないですしね。 サイト利用規約読んだ上でメールで問い合わせれば済む話ではあります。
guest

回答1

0

多くの場合、
ページ移動を伴わない「さらに表示」の様なUIはJavaScriptとXHRで実装されています。

これを取得する場合、JavaScriptを実行できる環境を使ってDOMを操作する必要があります。

キーワードとしては
headless chrome スクレイピング php
あたりでしょうか。

ただし、
相手側が利用規約や技術的要素でスクレイピングを拒絶していたり
取得したデータの著作権的な扱い、
負荷に関する法的な要素などがありますので、
まずはそのあたりを調べてから実施する必要があります。

投稿2020/01/29 04:55

tanat

総合スコア18713

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問