Google colaboratoryでの読み込んだtensorflow_datasetsの保存

Question

Google colaboratoryでの読み込んだtensorflow_datasetsの保存に関する質問です。
Google colaboratoryでceleb_aのような大きなデータセットを使う際に、しばしばダウンロードでエラーが起こります。ただ、時間帯によってエラーが出ずに読み込めることがあります。

そこで本題です。
Google colaboratoryで一度ダウンロードしたtensorflow_datasetsをgoogle drive等に保存しておいて、次回、使う方法はないでしょうか?　ご存じの方がいらっしゃいましたら教えて下さい。よろしくお願いします。

Comments

[jbpb0]

> Google colaboratoryで一度ダウンロードしたtensorflow_datasetsをgoogle drive等に保存しておいて、次回、使う方法はないでしょうか?

ディレクトリパスを「tfds.load()」の「data_dir=」で指定するか、環境変数「TFDS_DATA_DIR」に設定しておくかしたら、そこから読み込んでくれるみたいです
https://stackoverflow.com/questions/63131782/where-are-the-tfds-load-datasets-are-saved
https://www.tensorflow.org/datasets/api_docs/python/tfds/load

予めgoogle driveをgoogle colabにマウントしておいて、マウントしたgoogle drive上のディレクトリパスを指定してみたら、いかがでしょうか

Answer 1

jbpb0様
コメント頂きありがとうございます。
Google Driveをマウントし、
celeba_bldr = tfds.builder('celeb_a', data_dir='/content/drive/MyDrive/')
とすることで最初のみダウンロードでデータを使えるようになりました。
当初、data_dir='/content/drive/'をdata_dir='gs://content/drive'としていたのですが、これを変更して使えるようになりました。ありがとうございました。