Q&A
> ubuntu@ubuntu:~/$ ls
> checkpoint model.meta model.index
> model.data-00000-of-00001
とあり、ModuleNotFoundError: No module named 'models'とあります。
元のコードがないので何とも言えませんが、ファイル名の"model"を"models"に変更して、一番初めのサイトの処理をしたらうまくいきそうな気がします。いかがでしょうか？
背景
iPhoneアプリで学習モデルを使いたく、CoreMLにしたいのですが、Tensorflowのcheckpoint形式で既存モデルが用意されているため、まず.pb形式にしようと考えました。
やってみたこと⑴
terminal
1ubuntu@ubuntu:~/$ ls 2checkpoint model.meta model.index 3model.data-00000-of-00001
この4つをまとめた.pbファイルにしたく、このサイトの'test.ckpt.meta'などを名前変えて実行してみたところModuleNotFoundError: No module named 'models'とエラーが出てしまいました。
調べたところここに
It looks like models was renamed to pymodels then renamed again to doqu (source code) which I was able to install the latest version from pypi. Is this legacy code? Will Doqu work for your purposes? `pip install doqu`
と書いてあったのでinstallしたのですがエラーは治りませんでした。なぜでしょうか…
やってみたこと⑵
他のサイトでやってみようと思いここを参考にやってみたらexport_dir/0/直下にsaved_model.pbができたのですが、いざそれをCoreMLにしようとここを参考に変換したら
error
1gdef.ParseFromString(serialized) 2google.protobuf.message.DecodeError: Error parsing message
と出てしまいました…。
saved_model.pbを変換する際
output_feature_names = ['softmax/logits:0'], input_name_shape_dict = {"Mul:0":[1,299,299,3]})
この2つを自分のモデルに合わせて、使った関数（'softmax'）とinputした形（{"conv_n_filters", [16, 32, 64, 128, 256, 512]}）を書きましたが、そこが悪かったのでしょうか…。そうならば何を書けばよかったのでしょうか？
###やってみたこと⑶
.pbできないなって思ったので.onnxでやってみようと思い、このサイトを元にコマンドを打ってみたのですが、inputs and outputs are not needed for models in saved-model format.と書かれているのに要求されます…でも何をinputsに代入すればいいかなどわかりません…
###結論
いろいろやってみたけどダメって感じです…
とにかくCoreMLにできればいいので、いずれかの解決法でも、その他のやり方でも教えてくださると嬉しいです。
どなたかよろしくお願いします。クリスマスにすみません…
```
2019-12-31 18:30:59.686785: W tensorflow/core/util/tensor_slice_reader.cc:95] Could not open ../ckpt/checkpoint: Data loss: not an sstable (bad magic number): perhaps your file is in a different file format and you need to use a different restore operator?
```
とエラーが出てしまいました…
> perhaps your file is in a different file format and you need to use a different restore operator?
これは「Tensorflowのcheckpoint形式で既存モデル」からpfファイルに出力しようとしても発生していますか？
遅れてすみません。発生します！
「Tensorflowのcheckpoint形式で既存モデル」で使われているTFのバージョンと、ShoukaさんのTFのバージョンの相違はありそうですか?
新年早々ありがとうございます。
いえ、どちらもtensorflow_version = '1.14.0'で相違はないです！
https://stackoverflow.com/questions/56766639/how-to-convert-ckpt-to-pb
のコードとckptファイルでpbファイルが作れるか試していただけますか？これで動けば、最小限の条件で動くことが確認できますので、この最小限の条件の元ファイルをお手元のファイルに切り替えればできるのではないか、と踏んでいます。
saved_model.pb生成できました！！！！
ただ、この.pbをCoreMlにしようとするとエラー
```
gdef.ParseFromString(serialized)
google.protobuf.message.DecodeError: Error parsing message
```
が発生します（CoreMLの方のコードがやばいかもしれないですが…）
ちなみにCoreMLのコードは
```
import tfcoreml as tf_converter
tf_converter.convert(tf_model_path = 'saved_model.pb.pb',
mlmodel_path = 'separate_model.mlmodel',
output_feature_names = ['softmax:0'],
input_name_shape_dict = {'conv_n_filters' : [16, 32, 64, 128, 256, 512]},
minimum_ios_deployment_target='12')
```
で、output_feature_names = ['softmax:0']、 input_name_shape_dict 、minimum_ios_deployment_targetがあまりよくわからずソースコード読んでとりあえずそれっぽいのを代入した感じです…
回答1件
0
■策候補1
gdef.ParseFromString(serialized)という特徴的なキーワードで検索すると、ここが出てきます。
どうも読み込み時にfrozen graphにしないといけないようで、やり方については
lcycodingさんが
Python3
1import tensorflow as tf 2 3with tf.Session(graph=tf.Graph()) as sess: 4 tf.saved_model.loader.load(sess, ["serve"], './folder_you_save_savedmodel') 5 graph = tf.get_default_graph().as_graph_def() 6 with tf.gfile.GFile('./frozen.pb', "wb") as f: 7 f.write(graph.SerializeToString())
としています。
(参考)
どうも調べると、**やってみたこと(2)とこのやり方の2種類があるようですが、こちらの方法はまだ試していません。ですので、少なくとも現行ではやってみたこと(2)**ではうまくいかない、ことしかわからない状況です。
■策候補2
使用中のPythonのバージョンはいくつでしょうか？解決策の一つとしてPythonを3.5、3.6にすることがあるかもしれません。
例えば、ここでは3.7ではなく3.5を、だとか、ここでは3.7は対応していないので3.6を、とあります。
このエラーに関してこれ以上の情報は得られていません。（怪しい中国語、ロシア語、ヒンディー語のページに質問自体は出てきますが、どれも答えがでてきませんでした）
投稿2020/01/03 01:08
退会済みユーザー
総合スコア0
ありがとうございます！そのサイトには行き着かなかったので助かります…！
graphが必要っぽいなってのは理解していたのでいろいろやってみて、今回教えてくださったのもやったんですけど、
```
RuntimeError: MetaGraphDef associated with tags 'serve' could not be found in SavedModel. To inspect available tag-sets in the SavedModel, please use the SavedModel CLI: `saved_model_cli`
available_tags: []
```
ってエラーがどのやり方でも毎回でてきてそこで止まってしまいます（コードによってはtagの内容は[{'serve', 'train'}]と表示されるときもあります）
あっ今確かめたらPython 3.7.3でした…そのせいでしょうか…????
tf.saved_model.loader.load(sess, ["serve"],'./folder_you_save_savedmodel')の[”serve”]がクサいです。
[tf.saved_model.tag_constants.SERVING]にすると動くらしいことがいくらかのWEBページで見つかりました。
参考)
https://qiita.com/t_shimmura/items/1ebd2414310f827ed608
https://www.sambaiz.net/article/172/
https://github.com/tensorflow/tensorflow/issues/25288
https://github.com/tensorflow/tensorflow/issues/15611
https://xbuba.com/questions/52209587
---
どこかのサイトに、Python3.7を使っている人に「とりあえず試すならAnacondaをインストールしたらいいよ、今あるPythonの環境を壊さずにPython3.5をインストールできるから」とありました。イチかバチかPython3.5を試す価値はあると思いますが、既製品のckpt-->pbはうまくいったそうですので望み薄な気もします。
すごいたくさんの参考サイトありがとうございます…！！
[]内を変更してみたのですがエラーは
```
RuntimeError: MetaGraphDef associated with tags 'serve' could not be found in SavedModel. To inspect available tag-sets in the SavedModel, please use the SavedModel CLI: `saved_model_cli`
available_tags: []
```
のままでした…
`saved_model_cli show --dir ./`を打ってみたところ、
`The given SavedModel contains the following tag-sets:`で終わるので`serve`ってtagがないってことですよね…
他の方法でpb作成してやってみたら
```
RuntimeError: MetaGraphDef associated with tags {'serve'} could not be found in SavedModel. To inspect available tag-sets in the SavedModel, please use the SavedModel CLI: `saved_model_cli`
available_tags: [{'train', 'serve'}]
```
ってエラーになり、`saved_model_cli show --dir ./`を打ってみたところ
```
The given SavedModel contains the following tag-sets:
serve, train
```
ってちゃんと`serve`があるのにエラーになるのはなんででしょうか…????
https://qiita.com/ats05/items/3cd252e17383e78dcb28
の
「結論から言いますと、
学習時に--saved_model_dirパラメータをつけるのが正しそうです。」
のくだりと、そのすぐ上にある
「ここからの試行錯誤が色々ありました。興味のある方は開いてみてください。」の畳まれている内容と同じ症状のように見受けられます。ご参照ください。
ほんとうに同じ症状でした…すごい…ありがとうございます！
OSSのモデルをそのまま使用していますがこれは自分の手で学習しなおしてモデル作らなくてはいけないってことですよね????
retrain.pyの中身を見ましたが、
全体の九割くらい： 呼び出し先の関数の定義 def xxxx()のようなもの
末尾一割くらい: if __name__ == '__main__': で起動時に実行されるもの
でした。
このうち、引数”--saved_model_dir”で変わるのは本当に一番最後から6行目くらいなものです。
さらにこれを追跡すると、def export_model()に行きつき、最終的に
# Save out the SavedModel.
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
builder.add_meta_graph_and_variables(
sess, [tf.saved_model.tag_constants.SERVING],
signature_def_map={
tf.saved_model.signature_constants.
DEFAULT_SERVING_SIGNATURE_DEF_KEY:
signature
},
legacy_init_op=legacy_init_op)
builder.save()
のくだりに行きつきます。
ですので、細かいことは抜きにして、「自分の手で学習しなおしてモデル作らなくてはいけない」というよりは、「今手元にあるコードの『保存する関数の部分』を上記のように挿げ替えればOK」というものだと思います。手元で動かしているわけではありませんが、これは全部作り変えるのではなく、保存するときにオプションを増やすくらいのものだと思います。
なるほど！引数によってどこだけが変わるのか見れば良いんですね…！！
今このOSS（https://github.com/deezer/spleeter）でやってみてるのですが、train.pyの
```
def entrypoint(arguments, params):
""" Command entrypoint.
:param arguments: Command line parsed argument as argparse.Namespace.
:param params: Deserialized JSON configuration file provided in CLI args.
"""
audio_adapter = get_audio_adapter(arguments.audio_adapter)
audio_path = arguments.audio_path
estimator = _create_estimator(params)
train_spec = _create_train_spec(params, audio_adapter, audio_path)
evaluation_spec = _create_evaluation_spec(
params,
audio_adapter,
audio_path)
get_logger().info('Start model training')
tf.estimator.train_and_evaluate(
estimator,
train_spec,
evaluation_spec)
ModelProvider.writeProbe(params['model_dir'])
get_logger().info('Model training done')
```
が（多分）保存しているところで、ここを変えるならやはり学習し直しなのかな…？と思いました…
ちゃんと読めていませんが、tf.estimator.train_and_evaluate()で学習をしてModelProvider.writeProbe()で保存しているように思われます。
ModelProviderの部分の保存処理は「model/provider/__init__.py」の「stream.write('OK')」が実態ですので、「ModelProvider.writeProbe(params['model_dir'])」をコメントアウトして「builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)...」のような感じでやっていけばいけそうな気がします。
あなたの回答
tips
プレビュー
