【php】file_get_contentsで該当ページ内の全文を取得できない。

Question

###わからないこと
いつもお世話になっております。
今回、サイトの該当ページにある文字情報を取得しようとしてfile_get_contentsを使いました。
しかし、一部の箇所では、なぜか全文を取得できない状況になっています。
この原因はどこにあるのでしょうか？

###コード

$projectUrl = 'https://next.rikunabi.com/company/cmi0502939471/nx2_rq0013745069';
$projectIntent = file_get_contents($projectUrl);var_dump($projectIntent);

↑のvar_dump箇所にて全文を取得できない状況にあります。

###バグの状態

<td class="rnn-col-10">
<p>土地を持っているオーナーさんにマンション・アパートを建てるご提案をする<br>
<br>
<br>　納得して働けます。</p>張った分だけお給料にプラスされるから。。 う。 てることを提案するの？
</td>

よろしくお願いいたします。

Answer 1

手元のWindows環境で同様の事象、再現できました。
原因は改行コードの混在のようです。

<?php
//var_dump(sapi_windows_cp_get());

$projectUrl = 'https://next.rikunabi.com/company/cmi0502939471/nx2_rq0013745069';
$projectIntent = convertEOL(file_get_contents($projectUrl));
$projectIntent = mb_convert_encoding($projectIntent,'UTF-8','SJIS-win');
var_dump($projectIntent);


/* PHPで改行コードを統一する関数: CRLF, CR, LF が混在してる文字列を LF に変換するなど
 * https://qiita.com/suin/items/cbbbe8844fd734fa20e2
 */
function convertEOL($string, $to = "\n")
{
    return preg_replace("/\r\n|\r|\n/", $to, $string);
}

Comments

[退会済みユーザー]

ご回答誠にありがとうございます。
改行コードが混在するとそのような現象が発生してしまうのですね・・・
勉強になります

Answer 2

file_get_contentsがどうしても厳しそうでした
curlでやってみてはどうでしょうか？

$url = 'https://next.rikunabi.com/company/cmi0502939471/nx2_rq0013745069';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$str = curl_exec($ch);
curl_close($ch);
print $str;

Comments

[退会済みユーザー]

ご回答ありがとうございます。
curlはすでに試みており、結果は変わりませんでした。
ご助力いただきありがとうございます。

Answer 3

httpsだからです。たぶん。
phpinfo()でopensslが有効になっているか確認してみて下さい。
またallow_url_fopenがOnになっている必要がります。

php.ini

extension=openssl.so
allow_url_fopen=On

Comments

[退会済みユーザー]

ご回答ありがとうございます。
ただ申し訳ございませんが、上記では解決しませんでした。
別のhttpsのサイトの情報を取得しようとした際は、問題なく取得できました。

[ooeok]

私の環境ではまったく問題なく取得できました。
対象のページはShift_JISのようですが、単に表示するとき文字化けしていたのでは？

> <meta http-equiv="Content-Type" content="text/html;charset=Shift_JIS" />

[退会済みユーザー]

なるほどですね・・・
OSがWindoqで、PowerShellでファイルをたたいて取得できるか確認しているのですが、PowerShellが原因の可能性はありますでしょうか？

[ooeok]

PowerShellの実行環境がないので間違ってるかもしれませんが。
PowerShellの標準の文字コードはUTF-8なので、Shift_JISを表示すれば文字化けすると思います。
取得したページをファイルに落とし、文字コードを調べてみてはどうでしょうか。

[退会済みユーザー]

仰る通り、PowerShellのデフォルト文字コードはUTF-8ですので、chcp 932で文字コードをShift_JISに変更して確認をしています。
文字化けを起こしているというより、文章の取得に穴があるといった状況です

[ooeok]

今の段階では取得自体が悪いのかyouthKさんの環境が悪いのか分かりません。
けっこう特殊な環境のようなので、何をするにも面倒だと思います。
linuxが動く環境を作られた方がいいと思いますよ。
私の環境(CentOS6.7)では全文取得できていることを考えると、やはり実行環境の気がします。

[退会済みユーザー]

Linuxでも試みたところ、残念ながらooeok様がご確認されたような全文取得ができませんでした。
※var_dumpにて確認しました。
通常ですと、
「string(61) "9:00〜18:00（プロジェクトにより8：00〜17：00）"」
と表示されるようなところが、
「※商談が外である日は直行直帰することも！"ます。」
というように表示されています。

[ooeok]

そもそも

https://next.rikunabi.com/company/cmi0502939471/nx2_rq0013745069

には、
「※商談が外である日は直行直帰することも」
という文言が含まれていないようです。
見てるところが違うのでしょうか？
ログインしてると文言が変わったりしますか？

[退会済みユーザー]

失礼いたしました
別のURLでの箇所をみておりました。
誤解を招き申し訳ございません