質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Q&A

解決済

4回答

8572閲覧

cURLにurlを渡すがBad Request - Invalid URLになるのを解決したい

hatsu

総合スコア1809

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

0グッド

0クリップ

投稿2017/08/25 04:03

編集2017/08/25 05:12

今、以下のURLをcURLでhtml取得をしようとしています。
コードは以下の通りです。

php

1 $comp_url = "// https://employment.en-japan.com/desc_817158/"; 2 $ch = curl_init(); 3 curl_setopt($ch, CURLOPT_URL, $comp_url); 4 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 5 $comp_html = curl_exec($ch); 6 curl_close($ch); 7 8 echo $comp_html = mb_convert_encoding($comp_html,"sjis","utf-8");

この場合はhtmlをしっかりと取得することができていいるのですが、URLは同じでも以下のようにするとなぜか"Bad Request - Invalid URL"となってしまいます。

php

1for($i = 0; $i < $company_url_count; $i++){ 2 $comp_url = $company_urls[$i]; 3 $comp_url = substr($comp_url, 0, -2); 4 $ch = curl_init(); 5 curl_setopt($ch, CURLOPT_URL, $comp_url); 6 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 7 $comp_html = curl_exec($ch); 8 curl_close($ch); 9 echo $comp_html = mb_convert_encoding($comp_html,"sjis","utf-8"); 10 }

ちなみにvar_dump($company_urls)は以下の通りです。

php

1array(34) { [0]=> string(48) "https://employment.en-japan.com/desc_817158/ 2" [1]=> string(48) "https://employment.en-japan.com/desc_820874/ 3" [2]=> string(48) "https://employment.en-japan.com/desc_821940/ 4" [3]=> string(48) "https://employment.en-japan.com/desc_822200/ 5" [4]=> string(48) "https://employment.en-japan.com/desc_822693/ 6" [5]=> string(48) "https://employment.en-japan.com/desc_822829/ 7" [6]=> string(48) "https://employment.en-japan.com/desc_822960/ 8" [7]=> string(48) "https://employment.en-japan.com/desc_823225/ 9" [8]=> string(48) "https://employment.en-japan.com/desc_823622/ 10" [9]=> string(48) "https://employment.en-japan.com/desc_823635/ 11" [10]=> string(48) "https://employment.en-japan.com/desc_823763/ 12" [11]=> string(48) "https://employment.en-japan.com/desc_823885/ 13" [12]=> string(48) "https://employment.en-japan.com/desc_823914/ 14" [13]=> string(48) "https://employment.en-japan.com/desc_824020/ 15" [14]=> string(48) "https://employment.en-japan.com/desc_824074/ 16" [15]=> string(48) "https://employment.en-japan.com/desc_816618/ 17" [16]=> string(48) "https://employment.en-japan.com/desc_820530/ 18" [17]=> string(48) "https://employment.en-japan.com/desc_821515/ 19" [18]=> string(48) "https://employment.en-japan.com/desc_821853/ 20" [19]=> string(48) "https://employment.en-japan.com/desc_821858/ 21" [20]=> string(48) "https://employment.en-japan.com/desc_821888/ 22" [21]=> string(48) "https://employment.en-japan.com/desc_822274/ 23" [22]=> string(48) "https://employment.en-japan.com/desc_822528/

わかるかた、心当たりあるかたご回答や質問でもしていただけると大変嬉しいです。
何卒よろしくお願いいたします。

##追記

php

1 $company_url_count = count($company_urls); 2 for($i = 0; $i < $company_url_count; $i++){ 3 $comp_url = $company_urls[$i]; 4 echo $comp_url; 5 $ch = curl_init(); 6 curl_setopt($ch, CURLOPT_URL, $comp_url); 7 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 8 $comp_html = curl_exec($ch); 9 curl_close($ch); //終了 10 11 echo $comp_html = mb_convert_encoding($comp_html,"sjis","utf-8"); 12 }

上のsubstrは僕が作業をしていたのが残ってしまっていました。失礼しました。
正しくは上のコードです。
その時の出力結果が以下のようになっています。
イメージ説明

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

CHERRY

2017/08/25 04:38

何回目のループで "Bad Request - Invalid URL" が、出ているのでしょうか? その時、curl に渡したURLは、正しいですか?
guest

回答4

0

ベストアンサー

これ、url の各行の末尾に**制御コード(行先頭へ戻す \r)**が入っていませんか。
※例えば Windows で作った url の一覧テキストファイルを取り込んでいるとか

\r のような制御コードは画面上に見えないため、見かけ上は URL が同じに見えます。

substr を書いていたのは、たぶん Windows で CR+LF(\r\n)がくっついていたのを削ろうとしたとか、そんな試行錯誤の結果ではないでしょうか。

投稿2017/08/25 05:25

編集2017/08/25 05:31
tacsheaven

総合スコア13703

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hatsu

2017/08/25 07:51

tacsheaven様 回答ありがとうございます。 tacsheaven様のおっしゃる通り、改行が入っていました。 解決しました、ありがとうございます。
tacsheaven

2017/08/25 08:18

var_dump の結果が怪しかった(行頭に " がある)のであたりを付けましたが、ビンゴでしたか。
hatsu

2017/08/25 10:43

確かにvar_dumpの結果のurlの行頭に " がありましたね。全く気づいていませんでした。。。
guest

0

以下確認して下さい

  • URLが本当に存在するか
  • サーバーが同URLに対して名前の解決ができるようDNS参照してるか
  • なんらかのproxyを通さないといけない環境ではないか
  • なんらかのログインが必要ではじかれていないか
  • クッキーやセッションが必須のページではないか
  • ユーザーエージェントやリファラではじかれてないか

投稿2017/08/25 04:51

yambejp

総合スコア114583

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hatsu

2017/08/25 05:20

yamabejp様 ありがとうございます。 今cURLに送っているurlをechoしています。 そのリンクへ行ってみると正しく、そのURLページが開かれます。 またクッキー、セッションが必要なページでもログインが必要なページでもございません。 ただpostしたurlはログイン済みのページではあります。その点が可能性は低いながらも若干きになります。後ほど、ログアウト状態で確認して見ます。
guest

0

$comp_url = substr($comp_url, 0, -2);

なんでsubstrしてるのですか?
substrした後のcomp_urlをechoしてみてください。

投稿2017/08/25 05:06

Tak1016

総合スコア1408

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hatsu

2017/08/25 05:16

Tak1016様 ありがとうございます。 substrは試行錯誤している時のコードが残ってしまっていたものです。失礼しました。 正しい今のコードを追記として載せました。またその時のurlをechoした urlも載っています。 お手数ですがご確認していただきまして、また質問やご回答をしていただけますと幸いです。
guest

0

urlが怪しそうなので以下のような感じでurlがちゃんと取得できてるかを確認し、取れているようでしたらロジックを組み込んでみてはどうでしょうか。

PHP

1for($i = 0; $i < count($company_urls); $i++){ 2 echo $company_urls; 3} 4 5foreach($company_urls as $value){ 6 echo $value; 7 8}

投稿2017/08/25 04:26

mayoi_maimai

総合スコア1583

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問