PHPで件数が多い時の列値の変換とメモリの使用量について

Question

10万行あるcsvファイルの30~33列目の項目をPHP内にある連想配列と比較し、
連想配列のkeyと一致していたらvalueの項目にするといった処理を考えていたのですが、
単純にfor文で回すと、10万×33列=330万の処理をすることになってしまいそうなので、メモリを消費しない処理の方法はありませんでしょうか？

$php_array = array('apple'=>'りんご', 'peach'=>'もも', 'pear'=>'なし','grape'=>'ぶどう');

csv
code1,名前一,......,apple,peach,peach,grape
code2,名前二,......,apple,apple,peach,pear
出力
code1,名前一,......,りんご,もも,もも,ぶどう
code2,名前二,......,りんご,りんご,もも,なし

Comments

[m.ts10806]

実際に自身が考えた処理を行ってメモリの消費量や処理にかかる時間の計測はしてみましたか？話はそこからだと思います。

Answer 1

メモリ使用量を少なく処理したいのであれば、一行づつ処理すればよいです。
SplFileObjectあたりを使用すれば、深く考えなくても foreach で回せます。

Comments

[enigumalu]

試してみたところ実行速度が8秒ほど遅くなりましたが、メモリの使用量が1/3程度になったので良かったです。
yieldも合わせて利用してみたところ10万件単位でもメモリ使用量自体は気になる値をした回れたので良かったです。
ありがとうございます。

Answer 2

一括処理っぽいのでそうだと仮定します、スコープが長い場合はforeachでkey-valで持たせているところで回転後にunset(array[$key])のようにするとメモリの使用率が減らせます。
スコープが短い変数はunset()の仕方によってはオーバヘッドが生まれるので避けた方がいいです。
forの返却で使えるところはyieldを利用していくのもありです。
世に出ている参照渡し系の利用はケースバイケースのため環境で測定するしかないですね。

Comments

[enigumalu]

試してみたところ実行速度はそのままでメモリの使用量が1/2程度になりましたありがとうございます。
甲乙つけがたかったですがSplFileObjectが初見だったためそちらを採用しました

Answer 3

ぜんぶデータベース上に納めて、クエリーの実行結果をCSV出力。