PHPで10万件の配列ｘ５つを高速処理させたい

Question

環境

PHP　7系
Laravel Framework 8.49.0

やりたいこと

$moto_data1 = [12345, 5, 12346, 9, 12347, 11, 12348, -1 , ...];
$moto_data2 = 同上;
 ...

という配列があります。
合計5つあります。

偶数の要素は3600をかけることで時間に変換する必要があります。
奇数の要素は値を示しています。そのまま後続処理で活用します。

こういう並び方をした配列が5つあります。
※1つの配列につき、約10万件前後の要素数があります。

この時、現在、以下のソースで処理させようとしていますが、１つ分の配列を処理したところ、7秒かかってしまいました。

2次元配列を分割するメソッド
    public function explodeTwoDimensional($tdArray): array
    {
        if (empty($tdArray)){
            var_dump($tdArray);
            return [null,null];
        }

        $date = $val = null;
        $idx = 0;
        $maxIdx = count($tdArray) - 1;
        foreach ($tdArray as $arr){
            $date[] = $tdArray[$idx];
            $val[]  = $tdArray[$idx + 1];

            $idx += 2;
            if ($maxIdx <= $idx){
                break;
            }
        }
        return [$date, $val];
    }

分割処理は、「microtime」で計測したところ、約0.0037秒で終わります。

           $viewValue = [];　・・・結果表示用
           $tmpVal = explodeTwoDimensional($moto_data1);
           ⇒$tmpVal[0] = 時間データ
　　　　　　　$tmpVal[1] ＝ 値データが入っています

            foreach ($timeStamp as $time){
                $temp = null;
                $idx = 0;
                foreach ($tmpVal[0] as $valTime){
                    if ($time=== $valTime){
                        $temp = $tmpVal[1][$idx];
                        $tmpVal= array_slice($tmpVal[0], $idx);
　　　　　　　　　　　　　　↑過ぎた日付は無意味なので次の要素比較で比較しないよう配列を更新してます
                        break;
                    }
                    ++$idx;
                }
                $viewValue[] = $temp;
            }

動きとしては、$timestampは、5つあるmoto_dataの日付がすべてマージされています。（マスターデータ）
10万件データ（moto_data1）は、マスターデータと比較して、日付があれば、その日付に対応する値をviewValueに入れる。なければnullを入れるという流れで組んでいます。

しかし、こうすると、マスターデータの件数ｘmoto_dataの数となるので、ループ数が跳ね上がり、処理時間が増加しているようです。

moto_data１だけでも7秒程度かかるので、5つあれば単純計算３５秒ほどかかる見込みです。
しかし、許容される処理時間は、5つの配列をすべて処理したとしても、「3秒以内」に収めないといけません。

これを解決する方法はありますか？

Answer 1

質問文から、moto_dataで言うところの、keyがタイムスタンプ（5桁の数値）で、valueが1桁の数値の配列、という配列、例えば、

$viewValue[12345] = [5,6,7,...]
$viewValue[12346] = [9,10,11,...]
$viewValue[12348] = [-1,-2,-3,...]
 :
 :

となる連想配列を作成したいと読み取りました。以下その前提で回答します。

とりあえず配列を分割する必要はありません。

• 予めkeyが 配列$timestampの各値で、valueが空の配列である配列 $timestamp_hashを用意し、
• $moto_dataから要素を2つずつ取り出し、
• $moto_dataの時刻値が$timestamp_hashのkeyに存在すれば、$timestamp_hash[key]に$moto_dataの値をプッシュする

とすることで、タイムスタンプの探索コストを大幅に減らすことができます。

実験用コード：

<?php

// テストダミーデータ10万件
$moto_data = [];
for($i = 0; $i < 100000; $i++){
  $moto_data[] = $i*513 % 100000;
  $moto_data[] = $i % 20;
}

// timestampマスターデータ5万件とする。
$timestamp = [];
for($x = 0; $x < 50000; $x++){
  $timestamp[$x] = $x;
}

// $timestampの値をkeyとする配列を作成。valueは空の配列。
// この空の配列に$moto_dataの値を入れていく。
$timestamp_hash = [];
foreach($timestamp as $time){
  $timestamp_hash[$time] = [];
}
echo count($timestamp)."\n";
echo count($timestamp_hash)."\n";

// テスト：ダミーデータの投入を５回繰り返す
for($x = 0; $x < 5; $x++){
  $cnt = count($moto_data);
  $i = 0;
  while($i < $cnt){
    // $timestamp配列内に当該データの時刻がキーとなる要素があればanswerにpush
    // 無ければ今回は何もしない
    if(isset($timestamp_hash[$moto_data[$i]])){
      $timestamp_hash[$moto_data[$i]][] = $moto_data[$i+1];
    }
    $i += 2;
  }
}
// 確認用
// foreach($timestamp_hash as $k => $v){
//   echo "$k => ". count($v) . "\n";
// }

?>

詳しい記載がなかったので、$timestampの中身は$moto_dataの半分である5万件と勝手に仮定しています。
作成したデータの書き出し時間を除けば私所有core i5-7500 のWindowsPCで100msちょっとくらいの実行速度です。
なお、$timestampのデータを$moto_dataと同数にすると150ms前後の実行速度となります。
マシンスペックがそれほど高くなくても3秒以内で十分収まるかと思います。

Comments

[meex]

「先頭から探索」ではなく「要素の存在確認」によって有り無しを判定するという発想はなかったです！この思考を組み入れたところ、5つ行っても３ｓ以内に収めることができました。アドバイスありがとうございます。

Answer 2

直接の回答ではありませんが、
PHPを少しでも速く動かしたい - Qiita
にあるような細かな改善を試してみて、
少しでも速く動きそうな書き方を模索するのがよろしいかと。

あと、値渡しと参照渡しの違いはわかりますか？
参照による代入
メソッドに単に引き渡すと、10万件のデータを複製して渡しているはずなので、
細かくメソッドが持つ処理を分断してメソッドに引き渡して結果を受け取ってを繰り返すと、
複製する処理に時間とメモリを取られそう。
必要に応じて参照渡しで加工するといいかもしれません。