質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

1回答

1475閲覧

gensimのdoc2vecでlossを取りたい

kterada

総合スコア4

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

1クリップ

投稿2019/12/28 07:04

前提・実現したいこと

gensimのdoc2vecでモデルを作成しています。
epoch毎のlossを取りたいのですが、running_training_loss が常にゼロです。。

どのようにして、lossの履歴を取ればいいでしょうか?
モデルの最適化の為に、loss図を作成したく。

結果

EPOCH - 1 : training on 1029767 raw words (890423 effective words) took 12.2s, 72703 effective words/s
loss= 0.0
Loss after epoch 0: 0.0

該当のソースコード

class callback(CallbackAny2Vec):
#'''Callback to print loss after each epoch.'''

def __init__(self): self.epoch = 0 self.loss_to_be_subed = 0 def on_epoch_end(self, model): loss = model.running_training_loss print("loss=",loss) loss_now = loss - self.loss_to_be_subed self.loss_to_be_subed = loss print('Loss after epoch {}: {}'.format(self.epoch, loss_now)) self.epoch += 1

model = Doc2Vec(documents, vector_size=300, window=5, min_count=1, workers=4,epochs=25,dbow_words=1,compute_loss=True,callbacks=[callback()])

python3

1#-*- encoding: utf-8 -*- 2################################################################ 3# 2019.12.24 K.Tearda 4# doc2vec で学習 5# https://qiita.com/asian373asian/items/1be1bec7f2297b8326cf 6################################################################ 7import os 8import logging 9import sys 10import numpy as np 11from datetime import datetime 12from gensim.models.doc2vec import Doc2Vec, TaggedDocument 13from gensim.models.callbacks import CallbackAny2Vec 14 15class callback(CallbackAny2Vec): 16 #'''Callback to print loss after each epoch.''' 17 18 def __init__(self): 19 self.epoch = 0 20 self.loss_to_be_subed = 0 21 22 def on_epoch_end(self, model): 23 loss = model.running_training_loss 24 print("loss=",loss) 25 #loss = model.get_latest_training_loss() 26 loss_now = loss - self.loss_to_be_subed 27 self.loss_to_be_subed = loss 28 print('Loss after epoch {}: {}'.format(self.epoch, loss_now)) 29 self.epoch += 1 30 31###################### entry point 32argv=sys.argv 33debug="on" 34print("START: "+" ".join(argv),datetime.now()) 35 36logging.basicConfig(format="%(asctime)s : %(levelname)s : %(message)s",level=logging.INFO) 37DATA_DIR = os.path.join(os.path.dirname(__file__), "data") 38 39artistNo=np.load('artistNo.npy',allow_pickle=True) 40sentences=np.load('sentences.npy',allow_pickle=True) 41 42documents = [TaggedDocument(doc, [i]) for i, doc in sentences] 43 44model = Doc2Vec(documents, vector_size=300, window=5, min_count=1, workers=4,epochs=25,dbow_words=1,compute_loss=True,callbacks=[callback()]) 45 46# モデルのセーブ 47model.save("doc2vec_gensim_songs.bin") 48 49print("END: ",argv[0],datetime.now()) 50

試したこと

ここに問題に対して試したことを記載してください。

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

投稿2023/06/02 04:56

SuperCo2

総合スコア2

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問