Stable Diffusion(Google colab環境)でのimg2img及びControlNet使用時のPythonエラー解決

Question

### 実現したいこと
Stable Diffusion(Google colab環境)でのimg2img及びControlNet使用時のエラー解決

前提

Stable Diffusion Web UIをGoogle colab環境で使用しています。
txt2imgは問題なく動作しているのですが、img2img及びControlNetの場合以下のエラーメッセージが発生して画像生成ができません。

発生している問題・エラーメッセージ

エラーメッセージ
AttributeError: 'NoneType' object has no attribute 'to'

該当のソースコード

#@markdown # Start Stable-Diffusion
from IPython.utils import capture
import time
import sys
import fileinput
from pyngrok import ngrok, conf

Use_Cloudflare_Tunnel = False #@param {type:"boolean"}
#@markdown - Offers better gradio responsivity

Ngrok_token = "" #@param {type:"string"}

#@markdown - Input your ngrok token if you want to use ngrok server

User = "" #@param {type:"string"}
Password= "" #@param {type:"string"}
#@markdown - Add credentials to your Gradio interface (optional)

auth=f"--gradio-auth {User}:{Password}"
if User =="" or Password=="":
  auth=""


with capture.capture_output() as cap:
  %cd /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/modules/

  if Use_Latest_Working_Commit:
    !wget -q -O paths.py https://github.com/TheLastBen/fast-stable-diffusion/raw/5632d2ef7fffd940976538d270854ec4faf26855/AUTOMATIC1111_files/paths.py
    !wget -q -O extras.py https://github.com/AUTOMATIC1111/stable-diffusion-$blasphemy/raw/a9eab236d7e8afa4d6205127904a385b2c43bb24/modules/extras.py
    !wget -q -O sd_models.py https://github.com/AUTOMATIC1111/stable-diffusion-$blasphemy/raw/a9eab236d7e8afa4d6205127904a385b2c43bb24/modules/sd_models.py
    !wget -q -O /usr/local/lib/python3.10/dist-packages/gradio/blocks.py https://github.com/TheLastBen/fast-stable-diffusion/raw/7ff88eaa1fb4997bacd9845bd487f9a14335d625/AUTOMATIC1111_files/blocks.py 
  else:
    !wget -q -O paths.py https://raw.githubusercontent.com/TheLastBen/fast-stable-diffusion/main/AUTOMATIC1111_files/paths.py
    !wget -q -O extras.py https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-$blasphemy/master/modules/extras.py
    !wget -q -O sd_models.py https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-$blasphemy/master/modules/sd_models.py
    !wget -q -O /usr/local/lib/python3.10/dist-packages/gradio/blocks.py https://raw.githubusercontent.com/TheLastBen/fast-stable-diffusion/main/AUTOMATIC1111_files/blocks.py
  %cd /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/

  !sed -i "[e-mail](checkpoint_file)@os.path.splitext(checkpoint_file); map_location='cuda'@" /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/modules/sd_models.py
  !sed -i '[e-mail]_ui().*@ui.create_ui();shared.demo.queue(concurrency_count=999999,status_update_rate=0.1)@' /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/webui.py
  !sed -i "s@map_location='cpu'@map_location='cuda'@" /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/modules/extras.py
  !sed -i 's@/content/gdrive/MyDrive/sd/stablediffusion@/content/gdrive/{mainpth}/sd/stablediffusion@' /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/modules/paths.py
  !sed -i 's@print(\"No module.*@@' /content/gdrive/$mainpth/sd/stablediffusion/ldm/modules/diffusionmodules/model.py
  !sed -i 's@\"quicksettings\": OptionInfo(.*@"quicksettings": OptionInfo("sd_model_checkpoint,  sd_vae, CLIP_stop_at_last_layers, inpainting_mask_weight, initial_noise_multiplier", "Quicksettings list"),@' /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/modules/shared.py

share=''
if Ngrok_token!="":
  ngrok.kill()
  srv=ngrok.connect(7860, pyngrok_config=conf.PyngrokConfig(auth_token=Ngrok_token) , bind_tls=True).public_url

  for line in fileinput.input('/usr/local/lib/python3.10/dist-packages/gradio/blocks.py', inplace=True):
    if line.strip().startswith('self.server_name ='):
        line = f'            self.server_name = "{srv[8:]}"\n'
    if line.strip().startswith('self.protocol = "https"'):
        line = '            self.protocol = "https"\n'
    if line.strip().startswith('if self.loc
    al_url.startswith("https") or self.is_colab'):
        line = ''
    if line.strip().startswith('else "http"'):
        line = ''
    sys.stdout.write(line)

elif Use_Cloudflare_Tunnel:
  with capture.capture_output() as cap:
    !pkill cloudflared
    time.sleep(4)
    !nohup cloudflared tunnel --url http://localhost:7860 > /content/srv.txt 2>&1 &
    time.sleep(4)
    !grep -o 'https[^[:space:]]*\.trycloudflare.com' /content/srv.txt >/content/srvr.txt
    time.sleep(2)
    srv= getoutput('cat /content/srvr.txt')

    for line in fileinput.input('/usr/local/lib/python3.10/dist-packages/gradio/blocks.py', inplace=True):
      if line.strip().startswith('self.server_name ='):
          line = f'            self.server_name = "{srv[8:]}"\n'
      if line.strip().startswith('self.protocol = "https"'):
          line = '            self.protocol = "https"\n'
      if line.strip().startswith('if self.local_url.startswith("https") or self.is_colab'):
          line = ''
      if line.strip().startswith('else "http"'):
          line = ''
      sys.stdout.write(line)
            
    !rm /content/srv.txt /content/srvr.txt

else:
  share='--share'

try:
  model
  if os.path.isfile(model):
    !python /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/webui.py $share --api --disable-safe-unpickle --enable-insecure-extension-access --no-download-sd-model --no-half-vae  --ckpt "$model" --opt-sdp-attention $auth --disable-console-progressbars 
  else:
    !python /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/webui.py $share --api --disable-safe-unpickle --enable-insecure-extension-access --no-download-sd-model --no-half-vae  --ckpt-dir "$model" --opt-sdp-attention $auth --disable-console-progressbars 
except:
   !python /content/gdrive/$mainpth/sd/stable-diffusion-$blasphemy/webui.py $share --api --disable-safe-unpickle --enable-insecure-extension-access --no-download-sd-model --no-half-vae --opt-sdp-attention $auth --disable-console-progressbars

試したこと

補足情報（FW/ツールのバージョンなど）

非エンジニアでYoutube動画を見ながら設定したので具体的なコードの中身がわかりませんが、多少のプログラミング知識はあります。

Comments

[meg_]

> エラーメッセージ
> AttributeError: 'NoneType' object has no attribute 'to'
上記エラーはどの箇所で発生したものでしょうか？

[kemkemchan]

生成された画像が表示される部分の下にあるフォルダアイコンや"SAVE"ボタンなどがある列の下の部分になります。
追記：「Traceback」とは書かれておらず"AttributeError: 'NoneType' object has no attribute 'to'"が表示されています。

[jbpb0]

質問に記載のエラーメッセージよりも上に「Traceback」と書かれてたら、そこから下をできるだけ省略せずに質問に記載してください
(ここに書くのではなく、質問を編集して追記する)

[meg_]

> img2img及びControlNetの場合以下のエラーメッセージが発生して画像生成ができません。
Stable Diffusion Web UIをGoogle colabで試しても質問のエラーは発生しないようです。質問のコードは使っていないので、その「非エンジニアでYoutube動画を見ながら設定した」の動画の作成者に質問するのが良いかもですね。

[kemkemchan]

Stable Diffusion Web UIをGoogle colabで実行しています。
実際のエラーがでているスクリーンショットを添付しました。

[kemkemchan]

そうですよね。ありがとうございます。

[meg_]

日本語化されたバージョンなんですね。
画像を入力していないからではないですか？

[kemkemchan]

スクショでは画像は消していますが入力していても同様のエラーとなります。

[meg_]

> スクショでは画像は消していますが入力していても同様のエラーとなります。
そうなんですね。

とりあえず日本語されていない元のを利用するのが回避策でしょうか？
ところでコード引用元を明記するべきかと思います。コードにも著作権があります。（転載禁止の場合はそもそもNGになりますが）
またそのYouTube動画のコメント欄では他の方はエラーなく使えている様子でしょうか？

[kemkemchan]

>ところでコード引用元を明記するべきかと思います。コードにも著作権があります。
大変失礼しました。知識不足で申し訳ないです。

>またそのYouTube動画のコメント欄では他の方はエラーなく使えている様子でしょうか？
同様のエラー報告はありませんでした。

[kemkemchan]

>とりあえず日本語されていない元のを利用するのが回避策でしょうか？
日本語化パッチを削除しましたが、変化はありませんでした。

Answer 1

質問のエラーの解消方法ではありませんが、Stable Diffusion WebUIを利用する方法としてはStable Diffusion WebUIとGoogle Colabで無料でAI画像を生成しよう！の方法で出来ました。（2023/5/16現在、Google Colaboratory(ランタイム：GPU)で確認済）

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

# Web UIを実行
!python launch.py --share --xformers --enable-insecure-extension-access

動作確認はデフォルトのモデルで実施しました。他のモデル等についてはリンク先などを参照なさってください。