質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Q&A

解決済

1回答

4939閲覧

ログインが必要なページをスクレイピングしたい

syws

総合スコア9

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

0グッド

0クリップ

投稿2020/08/21 11:32

前提・実現したいこと

phpでcURLを使ってログインが必要なページのコンテンツをスクレイピングで取得したいです。
下記ページのサンプルコードを書き換えたクラスを使用したところ、
ログイン前のページが表示されました。
https://www.tsubasa-note.blog/entry/php-curl-login/

ログイン前も後も、同じURLです。ログイン前は一部コンテンツが隠れています。

また、phpエラー等出ていればいいのですが、特にエラーが無くて、何を直せば上手くいくのかわからず困っています。
詳しい方、原因についてご教示頂ければ幸いです。
また、こういった場合にエラーを表示するにはどうしたらよいでしょうか?

該当のソースコード

php

1 2<?php 3 4class Curl 5{ 6 7 private $loginUri = 'ログイン画面のform要素のaction属性にあったURLのフルパス'; 8 private $targetUri = 'コンテンツを取得したいURL'; 9 private $tmpCookie; 10 private $user; 11 private $password; 12 13 14 public function __construct($user, $password) 15 { 16 $this->init($user, $password); 17 } 18 19 20 private function init($user, $password) 21 { 22 $this->user = $user; 23 $this->password = $password; 24 $this->tmpCookie = ABSPATH . 'wp-content/themes/以下、クッキーファイルへのパス'; 25 $this->setCookie(); 26 } 27 28 29 public function run() 30 { 31 $ch = curl_init(); 32 curl_setopt($ch, CURLOPT_URL, $this->targetUri); 33 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 34 curl_setopt($ch, CURLOPT_COOKIEFILE, $this->tmpCookie); 35 curl_setopt($ch, CURLOPT_COOKIEJAR, $this->tmpCookie); 36 $html = curl_exec($ch); 37 curl_close($ch); 38 var_dump($html); 39 } 40 41 42 private function setCookie() 43 { 44 $ch = curl_init(); 45 curl_setopt($ch, CURLOPT_URL, $this->loginUri); 46 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 47 curl_setopt($ch, CURLOPT_POST, true); 48 curl_setopt( 49 $ch, 50 CURLOPT_POSTFIELDS, 51 http_build_query( 52 array( 53 'mail' => $this->user, // input要素のname属性(メール) 54 'pass' => $this->password, // input要素のname属性(パスワード) 55 ) 56 ) 57 ); 58 curl_setopt($ch, CURLOPT_COOKIEFILE, $this->tmpCookie); 59 curl_setopt($ch, CURLOPT_COOKIEJAR, $this->tmpCookie); 60 curl_exec($ch); 61 curl_close($ch); 62 } 63} 64 65

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

こちらrunを実行していないのではないでしょうか?
エラーを出すのはtry catchで表示できると思います。

投稿2021/02/19 05:36

hi---

総合スコア17

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問