Google ColaboratoryのTPUが遅い

google colabratoryでTPUを使用しているのですが、GPUと比べて非常に速度が遅いです（CPU並み）。
kerasの作者が書いた本に載っているCNNのコードを写経したものを実行しているのですが、様々なサイトではCNNでTPUを使用した場合はGPUよりもかなり速くなると書いてありました。
コード自体もしっかり確認しましたが、誤っている点はありません。

編集→ノートブックの設定→TPU→保存

といった手順でコードを実行する前にノートブックを設定したのですが、これだけではTPUを使用する設定として不十分なのでしょうか？

原因や理由、解決方法を教えていただきたいです。

行動規範の内容に同意します

回答1件

ベストアンサー

以下を行う必要があります。

kerasではなくtensorflow.kerasをインポートする
Optimizerはtfのものを使用する
以下のようなコードを追記する

Python
1    tpu_grpc_url = "grpc://"+os.environ["COLAB_TPU_ADDR"]
2    tpu_cluster_resolver = tf.contrib.cluster_resolver.TPUClusterResolver(tpu_grpc_url)
3    strategy = keras_support.TPUDistributionStrategy(tpu_cluster_resolver)
4    model = tf.contrib.tpu.keras_to_tpu_model(model, strategy=strategy)

こちらが参考になります。

投稿2019/02/17 07:20

編集2019/02/17 07:21

fiveHundred

総合スコア10284

a_boy

2019/02/17 08:42 編集

ご回答ありがとうございます。 fivehundredさんの回答を参考にコードを改善していったのですが、最後にfitのところでvalidation_steps=50と設定したところにOperation 'tpu_139996937576800/VarIsInitializedOp' has been marked as not fetchable.というエラーが表示されてしまい、学習できません。もしよろしければ、なぜこういったエラーが出るのかも教えていただきたいです。ちなみにコードは https://nbviewer.jupyter.org/github/fchollet/deep-learning-with-python-notebooks/blob/master/5.2-using-convnets-with-small-datasets.ipynb にTPUで使用できるよう変更したものを使っています。