質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Q&A

0回答

979閲覧

phpQueryで「failed to open stream」が表示されるサイトについて

sawareco

総合スコア18

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

0グッド

0クリップ

投稿2021/07/18 07:28

いつもアドバイスありがとうございます。
phpQueryを使ったスクレイピングについて質問させてください。

ある特定のサイトをスクレイピングしようとしたのですが、
「failed to open stream」エラーが表示されてしまいます。

10サイトほど試してみたのですが、
そのサイトだけ取得することが出来ませんでした。

試したコードは下記なのですが、何が原因なのでしょうか。。。

<?php require('phpQuery-onefile.php'); $url = 'https://example.com/'; $doc = phpQuery::newDocumentFile($url); print_r($doc); ?>

エラーメッセージ

failed to open stream: HTTP request failed! in C:\xampp\htdocs_file\webs\phpQuery-onefile.php on line 4767

PHPのバージョンは7.4.13を使っています。

10サイトで試して1サイトだけエラーになるのでコード自体に
問題があるようには思えないのですが、、、。

ご存知の方がいらっしゃいましたらアドバイスを
頂けないでしょうか。

よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

m.ts10806

2021/07/18 09:58 編集

そもそもスクレイピングの許可をとってるのでしょうか。
sawareco

2021/07/18 10:11

サイト運営者への許可はとっていません。学習目的でやっているのですがダメなんですね。 ありがとうございます。
m.ts10806

2021/07/18 10:16

その手のアクセスはサービス提供者が想定するアクセス方法ではないですし、規約て明確に禁じているところもあります。目的に限らずですね。 https://services.sms-datatech.co.jp/pig-data/2019/07/03/scrapinglaw/ 目的や期間、頻度をそえて許可とるのが確実です。 API提供されてたらそれを使うこと。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問