PHPのpreg_split関数で処理した文字列のうち、ひらがなだけが？？に置き換わる

Question

実現したいこと

半角、または全角のスペースで区切られた単語群を含む文字列を各単語を要素に配列に変換する

以下ののようなコードを試しました

function convertStringToArray($inputString) {
 $wordArray = preg_split('/[ 　]+/', $inputString, -1, PREG_SPLIT_NO_EMPTY);

 return $wordArray;
}
$inputString = "こんにちは Hello　世界 world";
$wordsArray = convertStringToArray($inputString);
print_r($wordsArray);

出力結果

Array
(
    [0] => ??
    [1] => ??
    [2] => ??
    [3] => ??
    [4] => ??
    [5] => Hello
    [6] => 世界
    [7] => world
)

発生している問題

ひらがなが??に置き換えれれてしまっている

試したこと

エンコードを無理やり明示的に処理すればできるかもと思って以下のコードを試すも、続くエラーメッセージになる。

function convertStringToArray($inputString) {
 $inputString = mb_convert_encoding($inputString, "UTF-8", "auto");
 $wordArray = preg_split('/[ 　]+/', $inputString, -1, PREG_SPLIT_NO_EMPTY);
 foreach ($wordArray as &$word) {
     $word = mb_convert_encoding($word, "auto", "UTF-8");
 }

 return $wordArray;
}

エラー

Fatal error: Uncaught ValueError: mb_convert_encoding(): Argument #2 ($to_encoding) must be a valid encoding,

元のエンコーディングもUTF-8なので"auto"を”UTF-8”にしてみてもだめでした

補足情報

• Mac OS Ventura 13.2.1
• PHP 8.1.6
• Xdebug v3.1.5
• エンコードでUTF-8以外はない

Answer 1

'/[ 　]+/u',のようにUTF-8であるという修飾子を付けましょう。

Comments

[YASUJITOMITA]

ありがとうございます！

[otn]

u を付けないと1バイト単位の処理です。
16進で書くと全角空白は3バイトで E3 80 80 なので、空白 20 の他にも E3 と 80 で分割されます。
「こんにちは」は e3 81 93 e3 82 93 e3 81 ab e3 81 a1 e3 81 af なので
8193, 8293, 81AB, 81A1, 81AF の5つに分割され、そういう文字は無いので ? と表示。

Answer 2

マルチバイト文字には明示的なuオプションが必要です

'/[ 　]+/'
↓↓↓
'/[ 　]+/u'

Comments

[YASUJITOMITA]

あ、ありがとうございます。これでできました