php ファイル読み込み後重複チェック

Question

100M ぐらいあるファイルに
1 aaa bbb ccc ddd
2 xxx 222 111 333

このようにデータが100M分入っていますが、
スペースの3番目の値のみ重複チェックをして
重複したら、その行の中身を出力したいです。

まったく思いつかず。
お助けください！

Answer 1

重複チェック用の配列を作って、そこに値を貯めていくのが楽ではないでしょうか。
その際、配列は連想配列にするとチェックが楽です。
流れ的にはこんな感じでしょうか。

while(EOFまでループ){
    1行読み込み
    行をスペースで分割：explode)
    連想配列にあるかチェック：isset(連想配列['分割した値'])
    あったら１行分を出力
    連想配列に値登録：連想配列['分割した値']=1（代入する値は何でもよい）
}

Answer 2

最近はメモリもリッチだし 100M くらい大した事ないので一気に全体読んで行 split(explode) して array_key_exists すれば行けそうだけど。

<?php
$arr = [];
$filename = 'aaa';

$f = fopen($filename, "r");
while (!feof($f)) {
  $line = chop(fgets($f));
  if (empty($line)) {
    continue;
  }
  $items = explode(' ', $line);
  if (array_key_exists($items[3], $arr)) {
    echo $line;
  } else {
    $arr[$items[3]] = NULL;
  }
}
fclose($f);
?>

Comments

[mattn]

このコードはあくまで既にレコードがあったら次回から表示するコードなので、２件以上あるレコードを表示する物ではありません。まぁそうしたいなら NULL の代わりにその行まるまま入れれば良いですが。

Answer 3

結局全データの総当りチェックになるので相当重いと思いますができるとおもいますよ
普通やるならデータベースでしょうね

追記

メモリに余裕があるならfgetcsvでセパレータにスペースを指定する
難しそうなら、3番めの要素をキーとする配列を出現する度にインクリメントして
一度ファイルを走査し、2以上になった要素を再度読み直すのが効率的でしょうか