Unity2DにてC#を使い複数の巨大なサイズのcsvファイルを軽快に使用したい

Question

ファイルによって異なりますが、大体10MB程度のファイルが複数あり、順番に読み込んだ後、ゲーム内で同時に使用したいと思っているのですが、ファイルサイズが大きすぎて半分フリーズしたような状態になります。しばらく待てば操作可能になるのですが、このままだと到底ゲームでは使えないように思えます。

そこで、ファイルの容量を減らしたいのですが、ファイルを圧縮した場合、
（1）圧縮したファイルの中身のcsvファイルの数値を読み取れるのか？
（2）C#で上記は可能なのか？
（3）他の言語（例えばPython）なら可能なのか？
（4）軽快にcsvファイルを使用する他の方法があるのか？

検索してみた所、Pythonなら可能であるようにも見受けられましたが、なにぶんPythonはほとんど触った事がないため確証を得られませんでした。

ご教示、お願いいたします。

Unity2019.4.17f1

──（1月10日追記）──

現在、ファイルをバイナリ化する事、文字列に戻す事、そしてファイルに書き込む事を試しております。

ファイルをバイナリ化する事と文字列に直す事は、
こちら
を参考にさせて頂いております。

また、ファイルに書き込む事は
こちら
を参考にさせて頂きました。

元のcsvファイルをバイナリ化し、ファイルに書き込む事は成功？　したように思うのですが（バイナリエディタで中身を見ても正直さっぱり……です）、文字列に直すと明らかに元のファイには戻っていない現状です。バイナリ化が上手いっていないのか、文字列に戻すのが悪いのか、これから検証しようと思います。

元のcsvファイルとバイナリ化したファイルを置いておきますので、よかったら見てやって下さい。

CSV_TEST

パスワード：1010

Comments

[YAmaGNZ]

予め読み込んでおいて使用するのはダメなのですか?
またどのように処理を行っているのか分からないので、どう処理すべきか提案出来ないと思います。

[fumu7]

全てのファイルを読み込んでも十分に余裕があるサイズのメモリがありますか？　データがメモリに入りきらないと仮想メモリのためのディスクとメモリ間の頻繁なデータ転送（スラッシング）が発生して動作が遅くなります。
圧縮されたデータは、メモリ上に展開しないと本来の値を得る事が出来ません。圧縮してファイルサイズが小さくなって読み込みが早くなるのと、ファイルの展開をする処理時間がかかるようになるのと、どちらの影響が大きいのかを確認して判断すべきかと思います。

[MujinSekai]

YAmaGNZさん、回答ありがとうございます。
fumu7さん、回答ありがとうございます。

本心を言いますとゲーム開始前に全てのファイルを予め読み込んでおいて使用したいと思っております。ただ使用するcsvファイルですが、合計で4GBあり、これから大きく増える事はないと想定していますが、ここから減ることもないので何とか容量を小さくしたいと考えておりました。zipで圧縮すると三分の一になったので、これならば、と思いました。また時間の経過と共に全てのファイルのそれぞれの数値によって挙動を変える予定でした。しかし結局の所メモリ上に展開しないと本来の値を得る事が出来ないとの事で、正直このデータを使うのを諦めかけています。ご教示、ありがとうございます。

[Zuishin]

一度に読み込むのではなく、分割して必要になったときに適宜読み込む方法がとれるならそのようにしたらどうでしょうか。

何のデータをどのようにして使っているのかがわからなければ最適な方法を考えることはできません。また、どのように読み込んでいるかがわからなければ読み込み方法の改良もできません。また Unity で Python は使えません。

[YAmaGNZ]

CSVだろうがバイナリファイルだろうが関係ないでしょうね。
データの利用の仕方次第でどのように読み込むのが最適なのか変わるでしょうし、DBを利用したほうがいい可能性もありますし。

Answer 1

色々試してみた結果、取り敢えず分割したcsvファイルをテキストとしてを読み込んで使用する事に致しました。
回答して下さった方、ご覧になって下さった方、ありがとうございました。

Answer 2

MujinSekai さんが説明くださった目的について
説明しやすいように番号を振らせていただきました。

1. ゲーム開始時に全てのファイルを読み込む。
2. その際、進捗のアニメーションを入れたい。
3. 全ファイルの数値から処理を行う。
4. 一度全ファイルを解放。
5. 以後、必要になったら必要なファイルを読み込む。

「4.、5.」 のような処理が入るのでしたら、
「3.」 までの処理を行う単体のツールを作って、
その結果をファイルとして別途出力して、
ゲーム開始時にはそのファイルを読むようにすれば、
起動時間をかなり短縮できるのではないでしょうか？

「2.」の処理については、ファイルを切れ目なく読み込まず、
適切な単位（適切なファイル数ないし行数）で短い sleep() などを入れて UI に処理を戻すようにすれば、
（例えばそこで進捗のアニメーションを表示したり、キャンセルボタンなどを検知する処理を入れれば）
よいと思います。
Unity についてはあまりよくわからないのですが、おそらくマルチスレッド化などしていても、
ファイル読み込みを切れ目なく行ってしまうと、アニメーション処理などは止まってしまうと思われます。

データのバイナリ化については、独自のファイル形式を作る方法と、C#の　シリアライズ化を使って、
バイナリシリアライズする方法があると思います。
どちらがより適切かは私にもよくわかりませんが。

Comments

[MujinSekai]

・一つのファイルは数千行、数千列でそれぞれ0〜5000の数値が記載されているcsv
・バイナリ化はどうやって行うかがわからないので調べてみます
・本当は一つのファイルとして扱いたい

ゲーム開始時に全てのファイルを読み込む。
その際、進捗のアニメーションを入れたい。
全ファイルの数値から処理を行う。
一度全ファイルを解放。
以後、必要になったら必要なファイルを読み込む。

現状、自分のやりたい事は上記になります。

・UnityでPythonを使う
→甚だしい勘違いでした。失礼いたしました。

・全てのファイルを読み込んでテストを行なったのは随分前なので、これから再度テストを行なってみます（なぜか以前は数値からメッシュを作成していました。その方が軽いと考えたんだと思います）

[kozuchi]

コメントありがとうございます。回答の内容を更新しました。