日本語文章の多値分類が出来ません

Question

前提・実現したいこと

ここに質問の内容を詳しく書いてください。

BERTを用いて、日本語文章の多値分類を行う。というサイトを見ながらプログラミングを作成していたのですが、ファインチューニングの段階でエラーが出てしまい困っています。

発生している問題・エラーメッセージ

エラーメッセージ

WARNING:tensorflow:From /content/drive/MyDrive/bert/livedoor_news/bert/optimization.py:87: The name tf.train.Optimizer is deprecated. Please use tf.compat.v1.train.Optimizer instead.

WARNING:tensorflow:From bert/run_classifier_livedoor.py:1020: The name tf.app.run is deprecated. Please use tf.compat.v1.app.run instead.

WARNING:tensorflow:From bert/run_classifier_livedoor.py:822: The name tf.logging.set_verbosity is deprecated. Please use tf.compat.v1.logging.set_verbosity instead.

W1201 13:18:15.632747 139849845663616 module_wrapper.py:139] From bert/run_classifier_livedoor.py:822: The name tf.logging.set_verbosity is deprecated. Please use tf.compat.v1.logging.set_verbosity instead.

WARNING:tensorflow:From bert/run_classifier_livedoor.py:822: The name tf.logging.INFO is deprecated. Please use tf.compat.v1.logging.INFO instead.

W1201 13:18:15.633023 139849845663616 module_wrapper.py:139] From bert/run_classifier_livedoor.py:822: The name tf.logging.INFO is deprecated. Please use tf.compat.v1.logging.INFO instead.

WARNING:tensorflow:From /content/drive/MyDrive/bert/livedoor_news/bert/modeling.py:93: The name tf.gfile.GFile is deprecated. Please use tf.io.gfile.GFile instead.

W1201 13:18:15.633701 139849845663616 module_wrapper.py:139] From /content/drive/MyDrive/bert/livedoor_news/bert/modeling.py:93: The name tf.gfile.GFile is deprecated. Please use tf.io.gfile.GFile instead.

WARNING:tensorflow:From bert/run_classifier_livedoor.py:847: The name tf.gfile.MakeDirs is deprecated. Please use tf.io.gfile.makedirs instead.

W1201 13:18:15.795585 139849845663616 module_wrapper.py:139] From bert/run_classifier_livedoor.py:847: The name tf.gfile.MakeDirs is deprecated. Please use tf.io.gfile.makedirs instead.

Traceback (most recent call last):
File "bert/run_classifier_livedoor.py", line 1020, in <module>
tf.app.run()
File "/tensorflow-1.15.2/python3.7/tensorflow_core/python/platform/app.py", line 40, in run
_run(main=main, argv=argv, flags_parser=_parse_flags_tolerate_undef)
File "/usr/local/lib/python3.7/dist-packages/absl/app.py", line 303, in run
_run_main(main, args)
File "/usr/local/lib/python3.7/dist-packages/absl/app.py", line 251, in _run_main
sys.exit(main(argv))
File "bert/run_classifier_livedoor.py", line 859, in main
vocab_file=FLAGS.vocab_file, do_lower_case=FLAGS.do_lower_case)
File "/content/drive/MyDrive/bert/livedoor_news/bert/tokenization.py", line 167, in init
self.jumanpp_tokenizer = JumanPPTokenizer()
NameError: name 'JumanPPTokenizer' is not defined

該当のソースコード

ソースコード

!python bert/run_classifier_livedoor.py
--task_name=livedoor
--do_train=true
--do_eval=true
--data_dir=./
--vocab_file=./Japanese_L-12_H-768_A-12_E-30_BPE/vocab.txt
--bert_config_file=./Japanese_L-12_H-768_A-12_E-30_BPE/bert_config.json
--init_checkpoint=./Japanese_L-12_H-768_A-12_E-30_BPE/bert_model.ckpt
--max_seq_length=128
--train_batch_size=32
--learning_rate=2e-5
--num_train_epochs=3.0
--output_dir=./tmp/livedoor_news_output_fine
--do_lower_case False

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[jbpb0]

> BERTを用いて、日本語文章の多値分類を行う。というサイトを見ながら

そういう場合は、質問にURLも書いてください

> File "/content/drive/MyDrive/bert/livedoor_news/bert/tokenization.py", line 167, in init
self.jumanpp_tokenizer = JumanPPTokenizer()
NameError: name 'JumanPPTokenizer' is not defined

質問者さんが参考にしてる
https://qiita.com/Yuu94/items/0e5cff226bd3cc8fb08c
で、「内容を保存したColaboratory notebookを私のGitHubに公開しています」と紹介されてる
https://github.com/Yuu94/bert-ja-maruchi-classification
の「tokenization.py」
https://github.com/Yuu94/bert-ja-maruchi-classification/blob/master/tokenization.py
を見ると、406行目に「class JumanPPTokenizer(BasicTokenizer):」があります

「tokenization.py」以外も含めて、上記GitHubのコードを使ってますでしょうか？

Answer 1

BERTの日本語事前学習済みモデルでテキスト埋め込みをやってみるを読んで、JumanPPTokenizerを定義してください。

Comments

[jbpb0]

質問者さんが参考にしてる記事のGitHubコードの「tokenization.py」
https://github.com/Yuu94/bert-ja-maruchi-classification/blob/master/tokenization.py
でも、406行目以降で定義されてます

記事中では、その定義を追加することに触れられて無いため、質問者さんが定義を追加し忘れてるのでしょう
(質問者さんはGitHubコードを見てないのかも)

[tomokosu21226]

返信ありがとうございます。お恥ずかしながらGitHubコードを参考に修正したら、何とか起動に成功しました。焦っていたという事もあり、乱雑な質問になってしまって申し訳ないです。ありがとうございました。