PHPQueryによるスクレイピングの方法

Question

初めてスクレイピングに挑戦しているのですが上手くいきません。

以下のようなサイトを試しに取得しようと考えています。
http://www2j.biglobe.ne.jp/~tatuta/

少しずつ書いては中身を出してというやり方でやろうとしているのですが一番最初のfile_get_contentsでhtmlデータが取得できないでいます。

出力結果はstring(14122) " �c"になってしまいます。

A:これは正しく取得できているのでしょうか。
B:正しく取得できていない

Bの場合はどこが問題なのでしょうか。お願いします。

<?php
ini_set('display_errors', true);

date_default_timezone_set('Asia/Tokyo');

	require_once('phpQuery-onefile.php');

	$HTMLData = file_get_contents('http://www2j.biglobe.ne.jp/~tatuta/');
  var_dump($HTMLData);

	$phpQueryObj = phpQuery::newDocument($HTMLData);

	$a_list = $phpQueryObj['a'];
  //var_dump($a_list);

追記
現在以下の形で試してもダメでした。

$HTMLData = file_get_contents('http://www2j.biglobe.ne.jp/~tatuta/');
  //$html=mb_convert_encoding($HTMLData, "UTF-8","x-euc-jp");

  $HTMLData=mb_convert_encoding($HTMLData, "UTF-8", "x-euc-jp");

  var_dump($HTMLData);```

Comments

[kei344]

まだ質問が「受付中」になっていますが、いったん「解決済」にされてはいかがでしょうか。

[退会済みユーザー]

先ほど「解決済」に変更いたしました。

Answer 1

一度、他のサイトのURLでも試してみては？

出力結果はstring(14122) " �c"になってしまいます。

14,122文字は取得出来ているようなので、取得自体は出来ていると思います。
文字コードの設定が必要かもしれませんねー。

Comments

[退会済みユーザー]

コメントありがとうございます。他のサイトでは上手く出力できています。
文字コードの設定はどうやればいいのでしょうか？
よろしくお願いします。

[harashow1701]

他のサイトではOKなのですね。
では、該当サイトの文字コードに合わせてみてください。
この場合、なんてググだったら解決策が見つかると思いますか？

[退会済みユーザー]

今ググっています。多分文字コードcharset=x-sjisなのでちょっと試しています。できなかったらサイドお知らせします

[退会済みユーザー]

mb_convert_encoding(): Illegal character encoding specified in ..エラーでてしまいました。
文字コード処理の問題でしょうか。今ググっています。

[退会済みユーザー]

$html=mb_convert_encoding($HTMLData, "UTF-8","x-euc-jp");
var_dump($html);

するとstring(13630) " ?c"

$html=mb_convert_encoding($HTMLData, 'UTF-8', 'ASCII,JIS,UTF-8,eucJP-win,SJIS-win,x-euc-jp');

var_dump($html);するとstring(15540) " …"となってしまいます。

[harashow1701]

http://php.net/manual/ja/function.mb-convert-encoding.php

[退会済みユーザー]

コメントありがとうございます。上記のページnot foundでした。

[退会済みユーザー]

文字コード古すぎる？ので一旦保留して他のサイトのやり易い文字コードのスクレイピングを試しながら空き時間でトライしていこうと思います。※ちなみに他の文字コードUTF-8とかなら一発でした。

Answer 2

文字コード古すぎる？ので一旦保留して他のサイトのやり易い文字コードのスクレイピングを試しながら空き時間でトライしていこうと思います。※ちなみに他のサイトは文字コードUTF-8で問題なく取得できました。今回は文字コードもしくはそれら以外の要素が原因で取得できなかったと考えられます。