StyleGANの実行時にトレーニングデータを読み取れない。

Question

前提・実現したいこと

http://cedro3.com/ai/stylegan/
こちらのサイトを参考にしながらgoogle colab で　StyleGANのコーディングを勉強しているのですが、
トレーニングデータを読み込むところでエラーが発生してしまいます。
アドバイスよろしくお願いします。

(見本のサイトでは、url = 'https://drive.google.com/uc?id=1MEGjdvVpUsu1jB4zrXZN7Y4kBBOzizDQ'　だったのですが、直接ファイルを読み取れないようだったので、一度ダウンロードして自分のgoogleDriveにファイルをアップロードして読み込むようにしました。)

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
---------------------------------------------------------------------------

UnpicklingError                           Traceback (most recent call last)

<ipython-input-84-b4d8cef9c989> in <module>()
     45 
     46 if __name__ == "__main__":
---> 47     main()

<ipython-input-84-b4d8cef9c989> in main()
     14     url = 'https://drive.google.com/file/d/1Ee0irzmTrTKL5Czm_bpB_6mB2lVAfA5B/view?usp=sharing' # karras2019stylegan-ffhq-1024x1024.pkl
     15     with dnnlib.util.open_url(url, cache_dir=config.cache_dir) as f:
---> 16         _G, _D, Gs = pickle.load(f)
     17         # _G = Instantaneous snapshot of the generator. Mainly useful for resuming a previous training run.
     18         # _D = Instantaneous snapshot of the discriminator. Mainly useful for resuming a previous training run.

UnpicklingError: invalid load key, '\x0a'.

該当のソースコード

from google.colab import drive
drive.mount('/content/drive')

cd drive/My Drive
!git clone https://github.com/NVlabs/stylegan.git
cd stylegan

!pip install tensorflow==1.15
!pip install tensorflow-gpu==1.15

import os
import pickle
import numpy as np
import PIL.Image
import dnnlib
import dnnlib.tflib as tflib
import config

def main():
    # Initialize TensorFlow.
    tflib.init_tf()

    # Load pre-trained network.
    url = 'https://drive.google.com/file/d/1Ee0irzmTrTKL5Czm_bpB_6mB2lVAfA5B/view?usp=sharing' # karras2019stylegan-ffhq-1024x1024.pkl
    with dnnlib.util.open_url(url, cache_dir=config.cache_dir) as f:
        _G, _D, Gs = pickle.load(f)
        # _G = Instantaneous snapshot of the generator. Mainly useful for resuming a previous training run.
        # _D = Instantaneous snapshot of the discriminator. Mainly useful for resuming a previous training run.
        # Gs = Long-term average of the generator. Yields higher-quality results than the instantaneous snapshot.

    # Print network details.
    Gs.print_layers()

    # Pick latent vector.
    rnd = np.random.RandomState(10)  # seed = 10
    latents0 = rnd.randn(1, Gs.input_shape[1])
    latents1 = rnd.randn(1, Gs.input_shape[1])
    latents2 = rnd.randn(1, Gs.input_shape[1])
    latents3 = rnd.randn(1, Gs.input_shape[1])
    latents4 = rnd.randn(1, Gs.input_shape[1])
    latents5 = rnd.randn(1, Gs.input_shape[1])
    latents6 = rnd.randn(1, Gs.input_shape[1])
    
    num_split = 39  # 2つのベクトルを39分割
    for i in range(40):
        latents = latents6+(latents0-latents6)*i/num_split
        # Generate image.
        fmt = dict(func=tflib.convert_images_to_uint8, nchw_to_nhwc=True)
        images = Gs.run(latents, None, truncation_psi=0.7, randomize_noise=True, output_transform=fmt)

        # Save image.
        os.makedirs(config.result_dir, exist_ok=True)
        png_filename = os.path.join(config.result_dir, 'photo'+'{0:04d}'.format(i)+'.png')
        PIL.Image.fromarray(images[0], 'RGB').save(png_filename)

if __name__ == "__main__":
    main()

補足情報（FW/ツールのバージョンなど）

新しく出たエラー

Downloading https://drive.google.com/uc?id=1MEGjdvVpUsu1jB4zrXZN7Y4kBBOzizDQ ............ failed

---------------------------------------------------------------------------

OSError                                   Traceback (most recent call last)

<ipython-input-20-ece5f04dab83> in <module>()
     45 
     46 if __name__ == "__main__":
---> 47     main()

1 frames

/content/drive/My Drive/stylegan/dnnlib/util.py in open_url(url, cache_dir, num_attempts, verbose)
    376                                 raise IOError("Google Drive virus checker nag")
    377                         if "Google Drive - Quota exceeded" in content_str:
--> 378                             raise IOError("Google Drive quota exceeded")
    379 
    380                     match = re.search(r'filename="([^"]*)"', res.headers.get("Content-Disposition", ""))

OSError: Google Drive quota exceeded

ここにより詳細な情報を記載してください。

Answer 1

質問に書かれているコードから、下記を変更してGoogleコラボで動かしたら、実行できました

cd drive/My Drive
!git clone https://github.com/NVlabs/stylegan.git
cd stylegan

!pip install tensorflow==1.15
!pip install tensorflow-gpu==1.15

↓ 変更

%cd drive/My Drive
!git clone https://github.com/NVlabs/stylegan.git
%cd stylegan

!pip install tensorflow==1.15

.

    url = 'https://drive.google.com/file/d/1Ee0irzmTrTKL5Czm_bpB_6mB2lVAfA5B/view?usp=sharing' # karras2019stylegan-ffhq-1024x1024.pkl

↓ 変更

    url = 'https://drive.google.com/uc?id=1MEGjdvVpUsu1jB4zrXZN7Y4kBBOzizDQ' # karras2019stylegan-ffhq-1024x1024.pkl

【追記】 上記に加えて、さらに下記を行なっても、Googleコラボで実行できました

Googleドライブ直下に「datasets」というディレクトリを作り、そこに「karras2019stylegan-ffhq-1024x1024.pkl」(pretrained model)を置く

    url = 'https://drive.google.com/uc?id=1MEGjdvVpUsu1jB4zrXZN7Y4kBBOzizDQ' # karras2019stylegan-ffhq-1024x1024.pkl
    with dnnlib.util.open_url(url, cache_dir=config.cache_dir) as f:
        _G, _D, Gs = pickle.load(f)

↓ 変更

    _G, _D, Gs = pickle.load(open('/content/drive/My Drive/datasets/karras2019stylegan-ffhq-1024x1024.pkl','rb'))

Comments

[spa]

回答ありがとうございます。
教えていただいたとおり変更したところ、ドライブのマウントからTensorFlowのインストールまでうまくいきました。
ですがまたエラーが出てしまいまして。わかるようでしたら教えていただけるとありがたいです。

エラーメッセージ
OSError: Google Drive quota exceeded

（このURLを参考に　https://teratail.com/questions/276412　トレーニングデータを一度ダウンロードして自分のGoogleドライブにアップして回してみましたが同じエラーメッセージが出ました。）

[jbpb0]

https://www.koi.mashykom.com/dcgan.html#fd05
の「StyleGAN の Python 実装」に、
「「 Google Drive quota exceeded 」と表示が出てランタイムが終了してしまいます。この難点を避けるために...」
とありますので、それを実施してみたらいかがでしょうか？
【追記】 やってみたら、そちらでも実行できたので、回答にやり方追記しました

[spa]

ありがとうございます。
追記の通りにしたところ無事に動きました！

追記の通りでうまくいったのですが、GoogleColabからファイルをアップロードすると途中でエラーが出るようでファイルが壊れるという現象も起きていました。それに関してはドライブに直接アップロードで解決しました。

何度もお付き合いいただきありがとうございました。