PHPのcURL関数でスクレイピングをするにあたっての文字化け

Question

ajaxでPHPに接続しPHP側でスクレイピングした結果を返しているのですが、
帰ってきた値が文字化けしてしまいます。
どうやら日本語だけが文字化けしているようなのですが…

["さつがい【殺害−する】", "さつがい【殺害】", "さつがい【殺害】", "せつ‐がい【殺害】", "さつ‐がい【殺害】"]

cURL関数のオプションなどで回避できるのでしょうか

Answer 1

DOMDocumentクラスのloadHTML()メソッドで対象のHTMLファイルを読み込みスクレイピングを行っていたのですが、このメソッドはHTML5形式の文字コード指定に対応していないため

<meta charset="utf-8">

のように指定されていると文字化けが発生してしまうようです

@$dom->loadHTML(mb_convert_encoding(対象のHTML, 'HTML-ENTITIES', 'UTF-8'));

としてマルチバイト文字列全てをHTMLエンティティ形式に変換することで文字化けを回避できるようです。
下記URLに解説がありました
http://qiita.com/mpyw/items/c0312271819baee09132

回答して下さった方、ありがとうございました。
ちゃんとコードを記すべきでしたすいません(´；ω；｀)

Comments

[popobot]

なるほど、勉強になりました！

[AkiraPenguin]

正しい解決とは言いがたいです。
$dom->encoding = 'UTF-8';
$dom->loadHTML(対象のHTML);
とすべきでは？

Answer 2

以下の流れという理解でよろしいでしょうか？

1. 元URL
2. 1.をPHPで取得してスクレイピング
3. JavaScriptで2.を取得

まず 1. 2. を wget などで直接ファイルを取得して確認してはどうでしょうか?
また 2. で取得した html をダンプして確認してはどうでしょうか?

手っ取り早く済ませようとするより、きちんとデバッグの手順を考えるほうが近道ですよ。

個人的には PHP の mb_language, mb_internal_encoding がきちんと設定されていないように思います。

Answer 3

日本語だけが文字化けしているということなので、取得先のHTMLの文字コードがUTF-8以外だからだと思います。
なので、取得先の文字コードを調べて、mb_convert_encodingで文字コードを変換すれば直ると思います。

やや脱線しますが、Goutteというスクレイピングのライブラリを使うと、
文字コードの自動変換やCookieの管理などもやってくれてとても便利です。

Comments

[退会済みユーザー]

調べてみたんですが文字コードはUTF-8でした(´；ω；｀)

[popobot]

HTMLのメタ情報を見てもUTF-8ですか？
<meta charset='utf-8' />みたいなやつです。

[退会済みユーザー]

はい、そこで確認しました。
レスポンスヘッダのContetnt-Typeもtext/html; charset=UTF-8ってなってます

[popobot]

なるほど、念のためHTML自体の文字コードも調べるいいと思います。設定に反して、実際は違う文字コードだったりすることはあります。
以下のようにwgetでhtmlを取得して、nkfで調べるとかやってみてください。
$wget url
$nkf --guess xxx.html

[退会済みユーザー]

対象のHTMLは閲覧禁止のようです(´；ω；｀)
403が帰ってきました。

Answer 4

以下サイトに解説がありました。
PHPのcurl()でレスポンスが文字化けしたら確認すること２つ

文字化け系のトラブルは検索すると対策法が結構出てくるので、
一度「○○ 文字化け」で検索してみることをおすすめします！