Q&A
csv2 はどんくらいあるの?
どうか皆様の知恵をお貸しください。
PHPで容量1GBぐらいの以下のような中身ののCSV１から、CSV２の各数字と一致する行をすべて検索するとします。
超高速に検索するにはどのような方法がありますか？
条件として、データベースを使用しなければ何でもありです。
CSVファイルの前処理やインデックスのようなものを作る、別プログラムを実行させるなどもありです。
また、ラズパイで動作させるためメモリは１GBです。
csv1
18376611070,"2013-01-11 19:49:43",53.656745,-2.083711 28511907498,"2013-02-26 11:34:45",51.48785,-3.276865 38498711517,"2013-02-22 22:54:55",44.038833,-92.486667 4 . 5 . 6 . 7
csv2
18376611070 28511353498 38511534498 4 ・ 5 ・ 6 ・
> データベースを使用しなければ何でもありです。
なぜこの制約が必要なのでしょうか？
csv2は500MBぐらいです。
データベースを使用しないのは、課題でデータベースなしという条件で高速に検索できるプログラムを作成しているからです。
課題なのに自分で何一つ考えずネットに投げるのか。
何のためにやってるんだろう。
時間の無駄だからやらなくていいんじゃないの？
> 条件として、データベースを使用しなければ何でもありです。
> CSVファイルの前処理やインデックスのようなものを作る、別プログラムを実行させるなどもありです。
そう思うならまずは質問者自身が考えたそれらの方法をコードで載せるなりgithubなどに載せて回答する側が実行して試せるものを用意し、何故そのコードになったのか理由も書いてください
それより速いものを回答出来る人もいるかもしれないですからね
回答2件
0
ベストアンサー
CSV1 を 1行ごとに 1ファイル作成して、ファイル名を第一項目とする。
CSV2 の各行と同じファイル名でアクセス可能となる。
まあ、ファイルシステムの制限でそううまくはいかないと思いますが…
となると、ある程度の規模で分割し、その集団に対してキーからアクセス&調査できる仕掛けを作る。
てのは可能性あるけど、どの程度の集団規模にしてどんな手順でアクセスするかは要検討。
アイデア的にはディレクトリで二分木的なものを構築するのもありかな。
ただ、実際のデータ次第で最適なやり方は変わってくると思います。
(汎用的なものを目指しているんじゃないですよね?)
課題らしいので、どんなんがいいかはご自分でどうぞ。
投稿2021/07/10 13:49
総合スコア7464
あなたの回答
tips
プレビュー
