ファイルサイズについて

Question

現在、膨大な表データを扱っているのですが、
少しでもデータを軽くしたいです。

データの区切り方として、
空白区切り、カンマ区切り等、区切り方は様々だと思うのですが、
どの区切り方が一番軽くなるのでしょうか？

色々な区切り方を作ってみて比べてみようかとは思ったのですが、データが膨大すぎて
複数個ファイルを作るのは容量的に厳しかったです...。

どなたか知っている方いらっしゃいましたら教えていただけると幸いです。
よろしくお願い致します。

Answer 1

どれも同じです。
ただし、「空白区切り」というのが、名前を付けて保存の画面でのプルダウンで出てくる「テキスト(スペース区切り)(*.prn)」のことであれば、その場合は、(データによりますが）大きくなる事が多いと思います。

ギガバイト単位のデータがあるなら、Excelじゃなくてデータベースの方が良いと思います。

Comments

[mendako]

そうなのですね。基本的なことですみません。
迅速なご回答、ありがとうございました。助かりました。

Answer 2

どの区切り方が一番軽くなるのでしょうか？

軽くなるというのはファイルサイズ？
それともツール越しの処理速度？

求めるものによってそもそもアドバイスが変わる。
まぁ、どっちも回答しようか。

空白区切り、カンマ区切り等

どちらの区切り文字もUTF-8で1バイト、タブ記号も1バイト、改行コードは1〜2バイト。
UTF-8で管理する限り、どんな区切り文字で管理したとしても数十バイト程度しか変わらない。

---

ファイルサイズを減らしたい

上記の理由によりファイルサイズを減らすアイデアは少ない。
メールで他人に渡す等、すぐに開く事を想定していないのならZip等で圧縮しよう。
（ExcelはそもそもXMLで書かれたテキストデータをZip圧縮しているので、CSVと比較して軽くなる事が多い）

使い勝手も考えるとSQLiteが最善。
データを一度全てぶち込んでしまって、コマンドラインやクライアントソフトでアクセスすると良い。

ちなみにAccessはUnicodeで管理するので、ファイルサイズ自体を減らすことは出来ない。

操作を速くしたい

1000行超えた時点でテキストエディタやExcelで表を操作すること自体をやめたほうがいい。
画期的な手法で劇的にファイルサイズを減らしたとしても、Excelに展開した瞬間数万行に膨れ上がって動作が停止することには変わりない。

貴方がエンジニアでないのならばAccessに乗り換える以外の選択肢は殆どない。
Accessはインデックスが効くので数万行程度のファイルならば余裕で管理出来る。
使い勝手はExcelに劣るが、罫線や画像オブジェクトに描画コストを割かない分高速に動作してくれる。

もし貴方がエンジニアなのであればGUIで操作するのをやめよう。
SQLiteとスクリプトで自動化した方がよっぽど早い。