正規表現で必要な文字を抜き出し、ひらがなをローマ字に変換

Question

前提・実現したいこと

PHPで必要な文字だけを取り出し、ひらがなをローマ字に変換するシステムを作成しました。ですが置換が全く行われず、web表示が文字化けします。
正規表現を変えてみたりしたのですがどうすればいいかわかりません。

ファイルの中のデータはこのような感じです
～～～～
赤土　あかつち、あかど
上妻　あがつま→こうづま
我妻　あがつま→わがつま
赤根　あかね
茜ヶ久保　あかねがくぼ
赤羽　あかは（あかはね、あかばね）
赤波江　あかばえ
～～～～

よろしくお願いします。

発生している問題・エラーメッセージ

グーグルクロームでシステムを実行すると表示されるときに文字化けします。
また正規表現の置換がされずにそのままファイルに書き込まれます。

該当のソースコード

<?php

$filename = 'kanahenkan.txt';

function kana_replace($datas){
$kana = array(
          'きゃ', 'きぃ', 'きゅ', 'きぇ', 'きょ',
          'ぎゃ', 'ぎぃ', 'ぎゅ', 'ぎぇ', 'ぎょ',
          'くぁ', 'くぃ', 'くぅ', 'くぇ', 'くぉ',
          'ぐぁ', 'ぐぃ', 'ぐぅ', 'ぐぇ', 'ぐぉ',
          'しゃ', 'しぃ', 'しゅ', 'しぇ', 'しょ',
          'じゃ', 'じぃ', 'じゅ', 'じぇ', 'じょ',
          'ちゃ', 'ちぃ', 'ちゅ', 'ちぇ', 'ちょ',
          'ぢゃ', 'ぢぃ', 'ぢゅ', 'ぢぇ', 'ぢょ',
          'つぁ', 'つぃ', 'つぇ', 'つぉ',
          'てゃ', 'てぃ', 'てゅ', 'てぇ', 'てょ',
          'でゃ', 'でぃ', 'でぅ', 'でぇ', 'でょ',
          'とぁ', 'とぃ', 'とぅ', 'とぇ', 'とぉ',
          'にゃ', 'にぃ', 'にゅ', 'にぇ', 'にょ',
          'ヴぁ', 'ヴぃ', 'ヴぇ', 'ヴぉ',
          'ひゃ', 'ひぃ', 'ひゅ', 'ひぇ', 'ひょ',
          'ふぁ', 'ふぃ', 'ふぇ', 'ふぉ',
          'ふゃ', 'ふゅ', 'ふょ',
          'びゃ', 'びぃ', 'びゅ', 'びぇ', 'びょ',
          'ヴゃ', 'ヴぃ', 'ヴゅ', 'ヴぇ', 'ヴょ',
          'ぴゃ', 'ぴぃ', 'ぴゅ', 'ぴぇ', 'ぴょ',
          'みゃ', 'みぃ', 'みゅ', 'みぇ', 'みょ',
          'りゃ', 'りぃ', 'りゅ', 'りぇ', 'りょ',
          'うぃ', 'うぇ', 'いぇ',
          'あ', 'い', 'う', 'え', 'お',
          'か', 'き', 'く', 'け', 'こ',
          'さ', 'し', 'す', 'せ', 'そ',
          'た', 'ち', 'つ', 'て', 'と',
          'な', 'に', 'ぬ', 'ね', 'の',
          'は', 'ひ', 'ふ', 'へ', 'ほ',
          'ま', 'み', 'む', 'め', 'も',
          'や', 'ゆ', 'よ',
          'ら', 'り', 'る', 'れ', 'ろ',
          'わ', 'ゐ', 'ゑ', 'を', 'ん',
          'が', 'ぎ', 'ぐ', 'げ', 'ご',
          'ざ', 'じ', 'ず', 'ぜ', 'ぞ',
          'だ', 'ぢ', 'づ', 'で', 'ど',
          'ば', 'び', 'ぶ', 'べ', 'ぼ',
          'ぱ', 'ぴ', 'ぷ', 'ぺ', 'ぽ'
      );

      $romaji  = array(
          'kya', 'kyi', 'kyu', 'kye', 'kyo',
          'gya', 'gyi', 'gyu', 'gye', 'gyo',
          'qwa', 'qwi', 'qwu', 'qwe', 'qwo',
          'gwa', 'gwi', 'gwu', 'gwe', 'gwo',
          'sya', 'syi', 'syu', 'sye', 'syo',
          'ja', 'jyi', 'ju', 'je', 'jo',
          'cha', 'cyi', 'chu', 'che', 'cho',
          'dya', 'dyi', 'dyu', 'dye', 'dyo',
          'tsa', 'tsi', 'tse', 'tso',
          'tha', 'ti', 'thu', 'the', 'tho',
          'dha', 'di', 'dhu', 'dhe', 'dho',
          'twa', 'twi', 'twu', 'twe', 'two',
          'nya', 'nyi', 'nyu', 'nye', 'nyo',
          'va', 'vi', 've', 'vo',
          'hya', 'hyi', 'hyu', 'hye', 'hyo',
          'fa', 'fi', 'fe', 'fo',
          'fya', 'fyu', 'fyo',
          'bya', 'byi', 'byu', 'bye', 'byo',
          'vya', 'vyi', 'vyu', 'vye', 'vyo',
          'pya', 'pyi', 'pyu', 'pye', 'pyo',
          'mya', 'myi', 'myu', 'mye', 'myo',
          'rya', 'ryi', 'ryu', 'rye', 'ryo',
          'wi', 'we', 'ye',
          'a', 'i', 'u', 'e', 'o',
          'ka', 'ki', 'ku', 'ke', 'ko',
          'sa', 'shi', 'su', 'se', 'so',
          'ta', 'chi', 'tsu', 'te', 'to',
          'na', 'ni', 'nu', 'ne', 'no',
          'ha', 'hi', 'fu', 'he', 'ho',
          'ma', 'mi', 'mu', 'me', 'mo',
          'ya', 'yu', 'yo',
          'ra', 'ri', 'ru', 're', 'ro',
          'wa', 'wyi', 'wye', 'wo', 'n',
          'ga', 'gi', 'gu', 'ge', 'go',
          'za', 'ji', 'zu', 'ze', 'zo',
          'da', 'ji', 'du', 'de', 'do',
          'ba', 'bi', 'bu', 'be', 'bo',
          'pa', 'pi', 'pu', 'pe', 'po'
      );

      $datas = str_replace($kana, $romaji, $datas);
      return $datas;
}

$datas = file($filename, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);

foreach($datas as $item){
  $pattern1 = "/^(.*)(?=　)　/";
  $pattern2 = "/(（).*(）)/";
  $pattern3 = "/、|→/";

  $item = preg_replace($pattern1, "", $item);
  $item = preg_replace($pattern2, "", $item);
  if(preg_match($pattern3, $item)){
   $split = preg_split($pattern3, $item);
   for($ = 1;$ < count($split);$i++){
    $datas[] = $split[$i];
   }
  }else{
    $datas[] = $item;
  }
}



$datas = kana_replace($datas);
array_unique($datas);
var_dump(count($datas));

file_put_contents($filename, $datas);

readfile($filename);

試したこと

・文字化け
php.iniやphpの中に直接コードを書いたりしたのですが文字化けします。
php.iniの中はutf-8でそろえています。phpの中に書いてみたのもutf-8にするものです

・置換ができない
色々調べて正規表現を変えました。載せたものが一番最適かと思います。下記のサイトだと問題なくマッチします。
http://okumocchi.jp/php/re.php

Answer 1

テキストファイルとPHPの文字コードが違うからだと思われます。
Windowsであれば何もなくtxtを作ればshift-jisだと思います。
ファイルから取得時にmb_convert_encodingをかますと良いです。

Comments

[naberius]

ありがとうございます！ファイルからデータ取得時にエンコードしたところ置換も問題なく行われました！
文字コードの違いが原因だったようです。

[m.ts10806]

はい、その通りです。
問題になるのはファイル自体の文字コードです。
phpでもini_setがutf8になっていてもプログラムファイル自体の文字コードが違うと容赦なく文字化けします。
DBを扱うときも注意してくださいね。
ファイルもすべて関わる情報全て同じにする必要があります。
プログラムは指示した通りにしか動かないので朱に交わっても赤くならないのです…

[naberius]

DBでなった時を考えるとゾッとしますね…
ひょっとして基本的にデータを引っ張ってくるときはエンコードした方がいい感じですかね？

[m.ts10806]

確実ではありますが、そもそもutf8で扱いたいならutf8でデータを保管しておけばエンコード地獄にはならないと思います。
DB接続についてもDB側の定義さえしっかりとutf8でしておけばコーディングに集中できますしpdoという仕組みもあるので
http://php.net/manual/ja/book.pdo.php
データを扱う際の面倒な手続きもだいぶ減りました。
文字コードによる問題が懸念されるなら問題が起きないような構造を用意するのも技術的な手口です

[naberius]

なるほど。ありがとうございます。
まだまだ細かいところがわからないので勉強します。