質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

1173閲覧

GoogleColabのTPU使用時に機械学習の学習が進まない

totyan

総合スコア6

Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/01/18 01:52

編集2021/01/18 01:53

前提・実現したいこと

Auto-kerasをGoogleColabのTPUを使って学習させたいです。

1つ目のTrialの数エポックまではうまく学習しているのですが、その後以下のエラーメッセージとともに終了してしまいます。

発生している問題・エラーメッセージ

UnimplementedError: File system scheme '[local]' not implemented (file: '/content/drive/MyDrive/実験データ/subI/auto_model/trial_b1a8c10f4540eaf90078fd7714498f50/checkpoints/epoch_3/checkpoint_temp/part-00000-of-00001') Encountered when executing an operation using EagerExecutor. This error cancels all future operations and poisons their output tensors. [Op:__inference_train_function_22192]

該当のソースコード

Python

1import shutil 2import autokeras as ak 3import tensorflow.keras as ks 4import np_utils 5from sklearn.datasets import fetch_openml 6import pandas as pd 7import numpy as np 8import matplotlib 9import matplotlib.pyplot as plt 10from PIL import Image 11import glob 12import os 13#from keras.preprocessing.image import load_img, img_to_array 14import sys 15import pickle 16import requests 17from tqdm import tqdm 18from io import StringIO 19# 画像用 20#from keras.preprocessing.image import array_to_img, img_to_array, load_img 21#自作モジュール 22from module import sep_dataset, line_send, pre_treatment, model_evaluation, set_datarange 23 24import tensorflow as tf 25 26 27#教師データが入っているフォルダのパス 28train_folder_path = '/content/drive/MyDrive/実験データ/subI' 29#モデルの最大試行回数 30max_model = 20 31 32#モデル構築(Auto-kerasのモデル設定) 33def make_model(): 34 input_node = ak.ImageInput() 35 output_node = ak.ImageBlock(normalize=False, augment=False, )(input_node) 36 output_node = ak.ClassificationHead()(output_node) 37 model = ak.AutoModel(inputs=input_node, outputs=output_node, overwrite=True, max_trials=max_model, directory=train_folder_path,) 38 return model 39 40#テスト・トレーニングデータに分離、検証データの入れ替え及び全パターンの組み合わせの作成 41t1, v1 = sep_dataset.main(train_folder_path, 0) 42t2, v2 = sep_dataset.main(train_folder_path, 1) 43t3, v3 = sep_dataset.main(train_folder_path, 2) 44train = [] 45val = [] 46for i in range(len(t1)): 47 train.append([t1[i]]+[t2[i]]+[t3[i]]) 48 val.append([v1[i]]+[v2[i]]+[v3[i]]) 49 50#前回学習中断箇所の取得(r=中断箇所のセルのrow、 c=中断箇所のセルのcolumn、 v=検証データの数字、  p=何個目の分割パターンかの数字) 51r, c, v, p = set_datarange.main(train_folder_path) 52 53#全パターンを回す 54for count in range(p, len(val)): 55 for i in range(v,3): 56 #データの前処理 57 X_train, Y_train = pre_treatment.main(train[count][i], len(train[count][i])) 58 X_test, Y_test = pre_treatment.main(val[count][i], len(val[count][i])) 59 60 tf.keras.backend.clear_session() 61 resolver = tf.distribute.cluster_resolver.TPUClusterResolver('grpc://' + os.environ['COLAB_TPU_ADDR']) 62 tf.config.experimental_connect_to_cluster(resolver) 63 64 # This is the TPU initialization code that has to be at the beginning. 65 tf.tpu.experimental.initialize_tpu_system(resolver) 66 print("All devices: ", tf.config.list_logical_devices('TPU')) 67 68 strategy = tf.distribute.experimental.TPUStrategy(resolver) 69 70 with strategy.scope(): 71 model = make_model() 72 73 #モデルの訓練(学習) 74 model.fit(X_train, Y_train, validation_data=(X_test, Y_test)) 75 76 #モデル精度評価 77 model_evaluation.main(X_test, Y_test, model, val, train_folder_path, count, i) 78 v = 0 79 80line_send.main('CNNの解析が終了しました')

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問