質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

iPhone

iPhoneとは、アップル社が開発・販売しているスマートフォンです。 同社のデジタルオーディオプレーヤーiPodの機能、電話機能、インターネットやメールなどのWeb通信機能の3つをドッキングした機器です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pip

pipとは、Pythonを用いて書かれているパッケージソフトのインストールや管理を行うためのパッケージマネジメントシステムです。pipを使う主なメリットは、コマンドラインインターフェースにて容易にPythonパッケージソフトをインストール可能だという点です。

Q&A

1回答

2192閲覧

tensorflowのcheckpointを.pbにしたい

Shouka

総合スコア34

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

iPhone

iPhoneとは、アップル社が開発・販売しているスマートフォンです。 同社のデジタルオーディオプレーヤーiPodの機能、電話機能、インターネットやメールなどのWeb通信機能の3つをドッキングした機器です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pip

pipとは、Pythonを用いて書かれているパッケージソフトのインストールや管理を行うためのパッケージマネジメントシステムです。pipを使う主なメリットは、コマンドラインインターフェースにて容易にPythonパッケージソフトをインストール可能だという点です。

0グッド

0クリップ

投稿2019/12/25 06:19

編集2022/01/12 10:55

背景

iPhoneアプリで学習モデルを使いたく、CoreMLにしたいのですが、Tensorflowのcheckpoint形式で既存モデルが用意されているため、まず.pb形式にしようと考えました。

やってみたこと⑴

terminal

1ubuntu@ubuntu:~/$ ls 2checkpoint model.meta model.index 3model.data-00000-of-00001

この4つをまとめた.pbファイルにしたく、このサイトの'test.ckpt.meta'などを名前変えて実行してみたところModuleNotFoundError: No module named 'models'とエラーが出てしまいました。
調べたところここ

It looks like models was renamed to pymodels then renamed again to doqu (source code) which I was able to install the latest version from pypi. Is this legacy code? Will Doqu work for your purposes? `pip install doqu`

と書いてあったのでinstallしたのですがエラーは治りませんでした。なぜでしょうか…

やってみたこと⑵

他のサイトでやってみようと思いここを参考にやってみたらexport_dir/0/直下にsaved_model.pbができたのですが、いざそれをCoreMLにしようとここを参考に変換したら

error

1gdef.ParseFromString(serialized) 2google.protobuf.message.DecodeError: Error parsing message

と出てしまいました…。
saved_model.pbを変換する際

output_feature_names = ['softmax/logits:0'], input_name_shape_dict = {"Mul:0":[1,299,299,3]})

この2つを自分のモデルに合わせて、使った関数('softmax')とinputした形({"conv_n_filters", [16, 32, 64, 128, 256, 512]})を書きましたが、そこが悪かったのでしょうか…。そうならば何を書けばよかったのでしょうか?

###やってみたこと⑶
.pbできないなって思ったので.onnxでやってみようと思い、このサイトを元にコマンドを打ってみたのですが、inputs and outputs are not needed for models in saved-model format.と書かれているのに要求されます…でも何をinputsに代入すればいいかなどわかりません…

###結論
いろいろやってみたけどダメって感じです…
とにかくCoreMLにできればいいので、いずれかの解決法でも、その他のやり方でも教えてくださると嬉しいです。
どなたかよろしくお願いします。クリスマスにすみません…

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2019/12/31 00:51

> ubuntu@ubuntu:~/$ ls > checkpoint model.meta model.index > model.data-00000-of-00001 とあり、ModuleNotFoundError: No module named 'models'とあります。 元のコードがないので何とも言えませんが、ファイル名の"model"を"models"に変更して、一番初めのサイトの処理をしたらうまくいきそうな気がします。いかがでしょうか?
Shouka

2019/12/31 09:32

``` 2019-12-31 18:30:59.686785: W tensorflow/core/util/tensor_slice_reader.cc:95] Could not open ../ckpt/checkpoint: Data loss: not an sstable (bad magic number): perhaps your file is in a different file format and you need to use a different restore operator? ``` とエラーが出てしまいました…
退会済みユーザー

退会済みユーザー

2019/12/31 10:22

> perhaps your file is in a different file format and you need to use a different restore operator? これは「Tensorflowのcheckpoint形式で既存モデル」からpfファイルに出力しようとしても発生していますか?
Shouka

2020/01/02 04:46

遅れてすみません。発生します!
退会済みユーザー

退会済みユーザー

2020/01/02 05:13

「Tensorflowのcheckpoint形式で既存モデル」で使われているTFのバージョンと、ShoukaさんのTFのバージョンの相違はありそうですか?
Shouka

2020/01/02 05:15

新年早々ありがとうございます。 いえ、どちらもtensorflow_version = '1.14.0'で相違はないです!
退会済みユーザー

退会済みユーザー

2020/01/02 05:19

https://stackoverflow.com/questions/56766639/how-to-convert-ckpt-to-pb のコードとckptファイルでpbファイルが作れるか試していただけますか?これで動けば、最小限の条件で動くことが確認できますので、この最小限の条件の元ファイルをお手元のファイルに切り替えればできるのではないか、と踏んでいます。
Shouka

2020/01/02 06:12

saved_model.pb生成できました!!!! ただ、この.pbをCoreMlにしようとするとエラー ``` gdef.ParseFromString(serialized) google.protobuf.message.DecodeError: Error parsing message ``` が発生します(CoreMLの方のコードがやばいかもしれないですが…)
Shouka

2020/01/02 06:14

ちなみにCoreMLのコードは ``` import tfcoreml as tf_converter tf_converter.convert(tf_model_path = 'saved_model.pb.pb', mlmodel_path = 'separate_model.mlmodel', output_feature_names = ['softmax:0'], input_name_shape_dict = {'conv_n_filters' : [16, 32, 64, 128, 256, 512]}, minimum_ios_deployment_target='12') ``` で、output_feature_names = ['softmax:0']、 input_name_shape_dict 、minimum_ios_deployment_targetがあまりよくわからずソースコード読んでとりあえずそれっぽいのを代入した感じです…
guest

回答1

0

■策候補1
gdef.ParseFromString(serialized)という特徴的なキーワードで検索すると、ここが出てきます。
どうも読み込み時にfrozen graphにしないといけないようで、やり方については
lcycodingさんが

Python3

1import tensorflow as tf 2 3with tf.Session(graph=tf.Graph()) as sess: 4 tf.saved_model.loader.load(sess, ["serve"], './folder_you_save_savedmodel') 5 graph = tf.get_default_graph().as_graph_def() 6 with tf.gfile.GFile('./frozen.pb', "wb") as f: 7 f.write(graph.SerializeToString())

としています。

(参考)
どうも調べると、**やってみたこと(2)とこのやり方の2種類があるようですが、こちらの方法はまだ試していません。ですので、少なくとも現行ではやってみたこと(2)**ではうまくいかない、ことしかわからない状況です。

■策候補2
使用中のPythonのバージョンはいくつでしょうか?解決策の一つとしてPythonを3.5、3.6にすることがあるかもしれません。
例えば、ここでは3.7ではなく3.5を、だとか、ここでは3.7は対応していないので3.6を、とあります。


このエラーに関してこれ以上の情報は得られていません。(怪しい中国語、ロシア語、ヒンディー語のページに質問自体は出てきますが、どれも答えがでてきませんでした)

投稿2020/01/03 01:08

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Shouka

2020/01/03 16:19 編集

ありがとうございます!そのサイトには行き着かなかったので助かります…! graphが必要っぽいなってのは理解していたのでいろいろやってみて、今回教えてくださったのもやったんですけど、 ``` RuntimeError: MetaGraphDef associated with tags 'serve' could not be found in SavedModel. To inspect available tag-sets in the SavedModel, please use the SavedModel CLI: `saved_model_cli` available_tags: [] ``` ってエラーがどのやり方でも毎回でてきてそこで止まってしまいます(コードによってはtagの内容は[{'serve', 'train'}]と表示されるときもあります)
Shouka

2020/01/03 16:20

あっ今確かめたらPython 3.7.3でした…そのせいでしょうか…????
退会済みユーザー

退会済みユーザー

2020/01/03 18:13

tf.saved_model.loader.load(sess, ["serve"],'./folder_you_save_savedmodel')の[”serve”]がクサいです。 [tf.saved_model.tag_constants.SERVING]にすると動くらしいことがいくらかのWEBページで見つかりました。 参考) https://qiita.com/t_shimmura/items/1ebd2414310f827ed608 https://www.sambaiz.net/article/172/ https://github.com/tensorflow/tensorflow/issues/25288 https://github.com/tensorflow/tensorflow/issues/15611 https://xbuba.com/questions/52209587 --- どこかのサイトに、Python3.7を使っている人に「とりあえず試すならAnacondaをインストールしたらいいよ、今あるPythonの環境を壊さずにPython3.5をインストールできるから」とありました。イチかバチかPython3.5を試す価値はあると思いますが、既製品のckpt-->pbはうまくいったそうですので望み薄な気もします。
Shouka

2020/01/04 02:50

すごいたくさんの参考サイトありがとうございます…!! []内を変更してみたのですがエラーは ``` RuntimeError: MetaGraphDef associated with tags 'serve' could not be found in SavedModel. To inspect available tag-sets in the SavedModel, please use the SavedModel CLI: `saved_model_cli` available_tags: [] ``` のままでした… `saved_model_cli show --dir ./`を打ってみたところ、 `The given SavedModel contains the following tag-sets:`で終わるので`serve`ってtagがないってことですよね…
Shouka

2020/01/04 03:02 編集

他の方法でpb作成してやってみたら ``` RuntimeError: MetaGraphDef associated with tags {'serve'} could not be found in SavedModel. To inspect available tag-sets in the SavedModel, please use the SavedModel CLI: `saved_model_cli` available_tags: [{'train', 'serve'}] ``` ってエラーになり、`saved_model_cli show --dir ./`を打ってみたところ ``` The given SavedModel contains the following tag-sets: serve, train ``` ってちゃんと`serve`があるのにエラーになるのはなんででしょうか…????
退会済みユーザー

退会済みユーザー

2020/01/04 03:44

https://qiita.com/ats05/items/3cd252e17383e78dcb28 の 「結論から言いますと、 学習時に--saved_model_dirパラメータをつけるのが正しそうです。」 のくだりと、そのすぐ上にある 「ここからの試行錯誤が色々ありました。興味のある方は開いてみてください。」の畳まれている内容と同じ症状のように見受けられます。ご参照ください。
Shouka

2020/01/04 13:44

ほんとうに同じ症状でした…すごい…ありがとうございます! OSSのモデルをそのまま使用していますがこれは自分の手で学習しなおしてモデル作らなくてはいけないってことですよね????
退会済みユーザー

退会済みユーザー

2020/01/04 18:46

retrain.pyの中身を見ましたが、 全体の九割くらい: 呼び出し先の関数の定義 def xxxx()のようなもの 末尾一割くらい:   if __name__ == '__main__': で起動時に実行されるもの でした。 このうち、引数”--saved_model_dir”で変わるのは本当に一番最後から6行目くらいなものです。 さらにこれを追跡すると、def export_model()に行きつき、最終的に # Save out the SavedModel. builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir) builder.add_meta_graph_and_variables( sess, [tf.saved_model.tag_constants.SERVING], signature_def_map={ tf.saved_model.signature_constants. DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature }, legacy_init_op=legacy_init_op) builder.save() のくだりに行きつきます。 ですので、細かいことは抜きにして、「自分の手で学習しなおしてモデル作らなくてはいけない」というよりは、「今手元にあるコードの『保存する関数の部分』を上記のように挿げ替えればOK」というものだと思います。手元で動かしているわけではありませんが、これは全部作り変えるのではなく、保存するときにオプションを増やすくらいのものだと思います。
Shouka

2020/01/05 03:32

なるほど!引数によってどこだけが変わるのか見れば良いんですね…!! 今このOSS(https://github.com/deezer/spleeter)でやってみてるのですが、train.pyの ``` def entrypoint(arguments, params): """ Command entrypoint. :param arguments: Command line parsed argument as argparse.Namespace. :param params: Deserialized JSON configuration file provided in CLI args. """ audio_adapter = get_audio_adapter(arguments.audio_adapter) audio_path = arguments.audio_path estimator = _create_estimator(params) train_spec = _create_train_spec(params, audio_adapter, audio_path) evaluation_spec = _create_evaluation_spec( params, audio_adapter, audio_path) get_logger().info('Start model training') tf.estimator.train_and_evaluate( estimator, train_spec, evaluation_spec) ModelProvider.writeProbe(params['model_dir']) get_logger().info('Model training done') ``` が(多分)保存しているところで、ここを変えるならやはり学習し直しなのかな…?と思いました…
退会済みユーザー

退会済みユーザー

2020/01/05 03:57

ちゃんと読めていませんが、tf.estimator.train_and_evaluate()で学習をしてModelProvider.writeProbe()で保存しているように思われます。 ModelProviderの部分の保存処理は「model/provider/__init__.py」の「stream.write('OK')」が実態ですので、「ModelProvider.writeProbe(params['model_dir'])」をコメントアウトして「builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)...」のような感じでやっていけばいけそうな気がします。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問