質問編集履歴

クレームです。

2024/07/22 07:13

投稿

退会済みユーザー

スコア0

test CHANGED Viewed

	@@ -1 +1 @@
1	- kera~~s_n~~l~~pでGemmaモデル~~の~~保存と読み込み時にエラーが出る~~
1	+ teratailの投稿削除条件の緩和を希望します。

test CHANGED Viewed

@@ -1,155 +1,5 @@
-### 実現したいこと
-今しようとしていることは、keras_nlpライブラリでhuggingface hub上にあるgoogle/gemma-2bモデルを読み込んでファインチューニングすることです。8bit量子化とLoRA(Low-Rank Adaptation)も利用してKaggleのTPU環境での訓練を行おうとしています。GPUの利用は考えていません(無料GPUは遅いため)。
-kerasバックエンドはtensorflow(デフォルト)です。
-### 発生している問題・分からないこと
-8bit量子化とLoRAの有効化を行うとモデル保存時に「配列の形状が合わない」というようなエラーが発生してしまいます。
-8bit量子化だけの時はモデル読み込み時にレイヤーの読み込みに失敗(?)します。
-8bit量子化をしないでLoRAだけを有効にするとメモリ不足になってしまいます。8bit量子化とLoRAの有効化を両方とも行ったときに発生するエラーの解消方法と、できれば原因も教えていただきたいです。
-### エラーメッセージ
-```error
-# 量子化とLoRA
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer InputLayer does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer RMSNormalization does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer RotaryEmbedding does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer Softmax does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer Dropout does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer ReversibleEmbedding does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
----------------------------------------------------------------------------
-InvalidArgumentError                      Traceback (most recent call last)
-Cell In[3], line 5
-      3 model.quantize("int8")
-      4 model.backbone.enable_lora(rank=16)
-----> 5 model.save_to_preset("./japanese-gpt-chat")
-      6 model=GemmaCausalLM.from_preset("./japanese-gpt-chat")
-File /usr/local/lib/python3.10/site-packages/keras_nlp/src/models/task.py:329, in Task.save_to_preset(self, preset_dir)
-    326     self.save_task_weights(os.path.join(preset_dir, TASK_WEIGHTS_FILE))
-    328 self.preprocessor.save_to_preset(preset_dir)
---> 329 self.backbone.save_to_preset(preset_dir)
-File /usr/local/lib/python3.10/site-packages/keras_nlp/src/models/backbone.py:204, in Backbone.save_to_preset(self, preset_dir)
-    198 """Save backbone to a preset directory.
-    199
-    200 Args:
-    201     preset_dir: The path to the local model preset directory.
-    202 """
-    203 save_serialized_object(self, preset_dir, config_file=CONFIG_FILE)
---> 204 self.save_weights(os.path.join(preset_dir, MODEL_WEIGHTS_FILE))
-    205 save_metadata(self, preset_dir)
-File /usr/local/lib/python3.10/site-packages/keras/src/utils/traceback_utils.py:122, in filter_traceback.<locals>.error_handler(*args, **kwargs)
-    119     filtered_tb = _process_traceback_frames(e.__traceback__)
-    120     # To get the full stack trace, call:
-    121     # `keras.config.disable_traceback_filtering()`
---> 122     raise e.with_traceback(filtered_tb) from None
-    123 finally:
-    124     del filtered_tb
-File /usr/local/lib/python3.10/site-packages/tensorflow/python/framework/ops.py:5983, in raise_from_not_ok_status(e, name)
-   5981 def raise_from_not_ok_status(e, name) -> NoReturn:
-   5982   e.message += (" name: " + str(name if name is not None else ""))
--> 5983   raise core._status_to_exception(e) from None
-InvalidArgumentError: {{function_node __wrapped__RealDiv_device_/job:localhost/replica:0/task:0/device:CPU:0}} Incompatible shapes: [8,2048,256] vs. [1,1,8,256] [Op:RealDiv] name:
-# 量子化のみ
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer InputLayer does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer RMSNormalization does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer RotaryEmbedding does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer Softmax does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer Dropout does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
-/usr/local/lib/python3.10/site-packages/keras/src/models/model.py:385: UserWarning: Layer ReversibleEmbedding does not have a `quantize()` method implemented.
-  warnings.warn(str(e))
----------------------------------------------------------------------------
-ValueError                                Traceback (most recent call last)
-Cell In[3], line 6
-      4 #model.backbone.enable_lora(rank=16)
-      5 model.save_to_preset("./japanese-gpt-chat")
-----> 6 model=GemmaCausalLM.from_preset("./japanese-gpt-chat")
-File /usr/local/lib/python3.10/site-packages/keras_nlp/src/models/task.py:231, in Task.from_preset(cls, preset, load_weights, **kwargs)
-    229     if check_file_exists(preset, TASK_WEIGHTS_FILE):
-    230         task.load_task_weights(get_file(preset, TASK_WEIGHTS_FILE))
---> 231     task.backbone.load_weights(get_file(preset, MODEL_WEIGHTS_FILE))
-    232 task.preprocessor.tokenizer.load_preset_assets(preset)
-    233 return task
-File /usr/local/lib/python3.10/site-packages/keras/src/utils/traceback_utils.py:122, in filter_traceback.<locals>.error_handler(*args, **kwargs)
-    119     filtered_tb = _process_traceback_frames(e.__traceback__)
-    120     # To get the full stack trace, call:
-    121     # `keras.config.disable_traceback_filtering()`
---> 122     raise e.with_traceback(filtered_tb) from None
-    123 finally:
-    124     del filtered_tb
-File /usr/local/lib/python3.10/site-packages/keras/src/saving/saving_lib.py:456, in _raise_loading_failure(error_msgs, warn_only)
-    454     warnings.warn(msg)
-    455 else:
---> 456     raise ValueError(msg)
-ValueError: A total of 126 objects could not be loaded. Example error message for object <EinsumDense name=key, built=True>:
-Layer 'key' expected 1 variables, but received 2 variables during loading. Expected: ['kernel']
-List of objects that could not be loaded:
-[<EinsumDense name=key, built=True>, <EinsumDense name=attention_output, built=True>, <EinsumDense name=query, built=True>, <EinsumDense name=value, built=True>, <EinsumDense name=ffw_linear, built=True>, <EinsumDense name=ffw_gating, built=True>, <EinsumDense name=ffw_gating_2, built=True>, <EinsumDense name=ffw_gating_2, built=True>, <EinsumDense name=key, built=True>, <EinsumDense name=attention_output, built=True>, <EinsumDense name=query, built=True>, <EinsumDense name=value, built=True>, <EinsumDense name=ffw_linear, built=True>, <EinsumDense name=ffw_gating_2, built=True>, <EinsumDense name=key, built=True>, <EinsumDense name=attention_output, built=True>, <EinsumDense name=query, built=True>, <EinsumDense name=value, built=True>, <EinsumDense name=ffw_linear, built=True>, <EinsumDense name=ffw_gating, built=True>, <EinsumDense name=ffw_gating_2, built=True>, <EinsumDense name=key, built=True>, <EinsumDense name=attention_output, built=True>, <EinsumDense name=query, built=True>, <EinsumDense name=value, built=True>, <EinsumDense name=ffw_linear, built=True>, <EinsumDense name=ffw_gating, built=True>, <EinsumDense name=ffw_gating_2, built=True>]
-# LoRAのみ
-ただのメモリ不足のエラー。
-```
-### 該当のソースコード
-```Python
-from keras_nlp.models import GemmaCausalLM
-model=GemmaCausalLM.from_preset("hf://google/gemma-2b")
-model.quantize("int8")
-model.backbone.enable_lora(rank=16)
-model.save_to_preset("./gemma")
-model=GemmaCausalLM.from_preset("./gemma")
-```
-### 試したこと・調べたこと
-- [x] teratailやGoogle等で検索した
-- [x] ソースコードを自分なりに変更した
-- [ ] 知人に聞いた
-- [ ] その他
-##### 上記の詳細・結果
-teratailは[Tensorflowのエラーの意味。Incompatible shapes。
-](https://teratail.com/questions/141391)のような、ケアレスミス(?)のようなものしか出てこなかったです。
-Googleはkeras_nlpでGemmaCausalLMのようなモデルをファインチューニングするというよりは、LLMではないモデルを自分で構築して学習させる時のIncompatible shapesエラーしか出てきませんでした。
-quantizeメソッドとenable_loraメソッドを使う[githubのページ](https://github.com/keras-team/keras/pull/19356)のqlora.pyを参考にしました。このqlora.pyでは保存するところまでは書いていないです。
-### 補足
-何となく関係ありようなライブラリのバージョンを載せておきます。
-Kaggleの仮想環境は2024年7月12日のものです。
-accelerate                   0.32.1
-huggingface-hub              0.23.4
-keras                        3.4.1
-keras-nlp                    0.14.0
-libtpu-nightly               0.1.dev20231213
-numpy                        1.26.4
-optax                        0.2.2
-optree                       0.12.1
-safetensors                  0.4.3
-scipy                        1.14.0
-sympy                        1.13.0
-tensorflow                   2.16.1
-tf_keras                     2.16.0
-tokenizers                   0.19.1
-transformers                 4.42.3
-triton                       2.3.0
+どうしても解決策が分からないエラーが出たからteratailに質問を投稿したのですが、他の質問を見てみたら
+1. 質問するときにエラー全体を書かない。エラー全体を載せてくれとのコメントには「覚えているところだけ載せました。」と再実行する気なし。
+2. 回答者がteratailのヘルプページをしつこくコメントする。
+3. 質問者が日本語出来ないし、本人がそれを自覚していないのでプログラミング専門のヤフー知恵袋みたいになっている。
+などなど意味不明なので質問を削除して退会したいんですが、調べたらほぼ削除不可のようです。事前に調べなかった私が悪いのですがこのような内容に書き換えれば垢BANのついでに質問消してくれるかもしれないと思ってほんの僅かに期待しています。本当にこのサイトはク○です。

TensorFlow Keras Python 3.x