【google colab】ディスク容量

Question

Google Colabで、会社の売上データの集計をpandasを使って行っています。
会社でG-suiteの契約をしており、会社のアカウントでログインしています。

毎週csv形式のデータを、Google Colabにアップロードし、pandasで加工したあと、csvでダウンロードするという使い方をしています。
ディスクを見るともう少しで一杯になりそうな状態であることに最近、気づきました。

「!df -h」で、ディスクの状況を調べるとこのような表示がでたのですが、ディスクが一杯になると、売上データの集計ができなくなってしまうため、
１、どんな情報がたまってしまっているのか
２、どうやって綺麗にしたらよいのか
を知りたいと思っています。
調べても全然該当する記事にたどり着けず、困っております。
どなたか分かる方いらっしゃったら助けてください。
よろしくお願いいたします。

Filesystem Size Used Avail Use% Mounted on
overlay 49G 35G 13G 74% /
tmpfs 64M 0 64M 0% /dev
tmpfs 6.4G 0 6.4G 0% /sys/fs/cgroup
tmpfs 6.4G 8.0K 6.4G 1% /var/colab
/dev/sda1 55G 36G 20G 65% /etc/hosts
shm 6.0G 4.0K 6.0G 1% /dev/shm
tmpfs 6.4G 0 6.4G 0% /proc/acpi
tmpfs 6.4G 0 6.4G 0% /proc/scsi
tmpfs 6.4G 0 6.4G 0% /sys/firmware

Answer 1

容量を増やしたいのでしたらGoogleドライブをマウントしてファイルを読み書きすればいいです。

左ペインを表示して「ドライブをマウント」をクリックすると以下のコードのセルが追加されるので実行

from google.colab import drive
drive.mount('/content/drive')

許可をするとcodeが表示されるのでcolaboratoryに戻ってコピペ実行するとマウントされます。

あとはファイルが表示されているのでパスをコピーでもしてファイルを指定すれば読み書きできます。

# read
df = pd.read_csv("/content/drive/My Drive/test.csv")

# write
df.to_csv("/content/drive/My Drive/test.csv")

追記

最初から33.89GBは使用済みです。
これにはOSや開発環境がインストールされています。

コードは、各アカウント専用の仮想マシンで実行されます。仮想マシンには、システムで定められた有効期限があり、一定期間アイドル状態にある仮想マシンは再利用されます。

https://research.google.com/colaboratory/faq.html

有効期限が切れた仮想マシンは削除されるため次回起動時にはファイルは残っていません。

Comments

[jfnflnfl]

ご回答ありがとうございます。
Googleドライブのマウントの方法が理解できました。

私の質問の仕方がわかりにくかったのだと思うのですが、ご相談したかったのは、ディスクの使用量が使っているうちにどんどん増えているのですが、満タンになって使用できなくなる前に、余計なデータを消したいが、どうして増えてしまっているのかわからない状態で、一番最初の状態に戻す方法とかが知りたいと思っています。

初心者すぎて、ディスクの中身がどうなっているのかまったくわからず、的を得ない質問になっており申し訳ないのですが、お力をお貸しください。

[barobaro]

90分・12時間経つとリセットされるという認識なのですが？データ残っていますか？
15GBも使うのでしたら会社のパソコンにPython入れた方が早いと思います。

[jfnflnfl]

ご返信ありがとうございます。
csvでアップロードしたデータは90分・12時間で消えているかと思うのですが、起動時から右上のディスクの棒グラフが黄色くなっており、33GBも使ったいることになっています。
何をすると、このディスクの使用量が増えていくのかがわかっておらず、私がいじるたびに、ゴミのようなものがたまっていって、そのうちディスクが一杯になってしまい、仕事上必要な売上データの集計作業ができなくなってしまうのではないかということを恐れています。

[barobaro]

説明を追記しましたが33.89GBが最初から使用済みです。
次回起動時には仮想マシンがリセットされているためゴミデータも残りません。

たとえるなら毎回新品の買ってきた状態のパソコンを使っている状態です。
いくら使っても次回起動時には新品の買ってきた状態のパソコンに戻っているため
データは残っていません。

容量15GBを使い切ってから考えたのでいいと思います。

[jfnflnfl]

ありがとうございました！！
よく理解できました！！