Tensorboard projectorを起動する方法

Question

標記について質問があります。
TensorBoard Projecterを使って文書ベクトルを可視化したいです。

しかし、下記エラーが発生しました。

'C:/Users/[username]/Anaconda3/envs/[仮想環境名]/lib/site-packages/caffe2/contrib/tensorboard' (set by the TENSORBOARD_BINARYenvironment variable): [WinError 5] アクセスが拒否されました。

どのような操作を行えば、アクセス拒否はなくなるでしょうか。

参考にしたのは、こちらのWebサイトです。

下記コードになります。

try:
    %tensorflow_version 2.x
except Exception:
    pass
%load_ext tensorboard

import os 
import tensorflow as tf 
import numpy as np 
import tensorflow_datasets as tfds 
from tensorboard.plugins import projector 
from shutil import copyfile

os.environ['TENSORBOARD_BINARY'] = 'C:/Users/[username]/Anaconda3/envs/[仮想環境名]/lib/site-packages/caffe2/contrib/tensorboard'

log_dir='logs/test/'
if not os. path.exists(log_dir):
    os.makedirs(log_dir)
src = 'loadtest2.tsv'
dst = os. path.join(log_dir, 'metadata.tsv')
copyfile(src, dst)

feature_vectors = np.loadtxt('loadtest1.tsv')
weights = tf.Variable(feature_vectors)

checkpoint = tf.train.Checkpoint(embedding=weights)
checkpoint. save(os.path.join(log_dir, "embedding.ckpt"))

config = projector.ProjectorConfig()
embedding = config.embeddings.add()

embedding.tensor_name = "embedding/.ATTRIBUTES/VARIABLE_VALUE"
embedding.metadata_path = 'metadata.tsv'
projector.visualize_embeddings(log_dir, config)

%tensorboard --logdir logs/test/

loadtest1.tsvとloadtest2.tsvは、こちらのサイトのLOADボタンを押したときにでてくるサンプルデータを用意しています。
下記にスクショはります。

解決策をご存知の方がいましたら、ご教示いただければと思います。
どうぞよろしくお願い致します。

Comments

[jbpb0]

> os.environ['TENSORBOARD_BINARY'] =...

の行が有る理由は何でしょうか？
何か(書籍とかWebサイトの解説とか)を参考にして、そうしたのでしょうか？

また、そこで指定してるパス「C:/Users/[username]/Anaconda3/envs/[仮想環境名]/lib/site-packages/caffe2/contrib/tensorboard」は、実際に存在してるのでしょうか？

[essa]

jbpb0様
コメントありがとうございます。

ご指摘の行の記載がない場合は、ERROR: Could not find `tensorboard`のErrorが発生します。
そこで、https://stackoverflow.com/questions/61533382/tensorboard-not-found
の記事を参考にしています。
（stackoverflowに書いてある通り、今の環境は仮想環境上で動かしているため、TENSORBOARD_BINARYを指定しています。）
指定しているパスは実際に存在しています。tensorboard.pyがあります。

[jbpb0]

> 今の環境は仮想環境上で動かしているため、TENSORBOARD_BINARYを指定しています。）
指定しているパスは実際に存在しています。tensorboard.pyがあります。

WindowsのAnacondaをお使いのようなので、それを前提に書きます

Anacondaプロンプトで、仮想環境ではない「base」環境で、

where tensorboard

を実行してみてください
そうしたら、どこか(おそらくAnacondaがインストールしてあるところの下のどこか)にある「tensorboard.exe」が引っかかると思います

「TENSORBOARD_BINARY」で指定するパスは、仮想環境下で有効な「tensorboard.exe」であって、「tensorboard.py」ではないと思います

【追記】
「base」環境で「where tensorboard」を実行して引っかかった「tensorboard.exe」のパスを、仮想環境で「TENSORBOARD_BINARY」で指定してはダメです
お使いの仮想環境下に(condaかpipで)インストールした「tensorboard」に付属の「tensorboard.exe」のパスを探して、それを指定してみてください

[essa]

jbpb0様
コメントありがとうございます。

base環境で教えていただいたコマンドを実行したところ、「情報: 与えられたパターンのファイルが見つかりませんでした。」と出力されました。
念のため、Explorer側で”tensorboard.exe”を検索してみましたが、ヒットしませんでした。
ちゃんとinstallできていないということですかね。

[jbpb0]

普通のコマンドプロンプトじゃなくて、Anacondaプロンプトで実行してますか？
「base」環境に「tensorboard」をインストールしたら、普通は「pip3.exe」とか「jupyter.exe」とかがあるのと同じ場所に「tensorboard.exe」が入るはずなのですが
where pip3
where jupyter
を実行して場所を探して、そこにないか探してみてください

ただし、もし「base」環境にtensorflow関連のものをインストールしてなければ、ありません
「base」環境にもインストールしてるのを前提に前のコメントを書いてしまいましたが、もし仮想環境だけにtensorflowをインストールしてるのなら、「base」環境には入ってないので、「base」環境で「where tensorboard」で何も引っかからなくて正常です

[essa]

jbpb0様
コメントありがとうございます。

Anacondaプロンプトで実行しています。
base環境には何も入れていないので、なかったです。
ちなみに、Tensorflow関連のものをインストールした仮想環境上にはtensorboard.exeは入っていませんでした。（pip.exeやjupyter.exeはちゃんと入っていました。）ちゃんとインストールできていない気がしてきました。ただ、tensorflow自体は動いています。

baseの方にもtensorboardインストールしないと動かないんですかね。（そんなことはないと思いますが。。）

[jbpb0]

> baseの方にもtensorboardインストールしないと動かないんですかね。（そんなことはないと思いますが。。）

そんなことはないです
失礼しました

> Tensorflow関連のものをインストールした仮想環境上にはtensorboard.exeは入っていませんでした。

仮想環境で

conda list

を実行したら、いろいろズラーっと表示されますが、その中に「tensorboard」はありますか？

[essa]

jbpb0様
コメントありがとうございます。

conda listを実行したところ、Tensorflow関係は下記の三つが入っていました。
・tensorboardx
・tensorflow-datasets
・tensorflow-metadata

ちなみに、pip listを実行すると下記が表示されています。
・tensorboard
・tensorboard-data-server
・tensorboard-plugin-wit
・tensorboardX
・tensorflow
・tensorflow-datasets
・tensorflow-estimator
・tensorflow-metadata

[jbpb0]

あれ？
普通は、pipで入れたのも「conda list」で出てくるはずなんだけど

「conda list」の結果で、一番右に「pypi」って書かれてるものありませんか？
あれば、それはpipで入れたものです

仮想環境で

where pip
where conda

を実行して、それぞれ一番上に表示されるものは、どちらも仮想環境のパス
C:/Users/[username]/Anaconda3/envs/[仮想環境名]
以下のものですか？

[essa]

jbpb0様
コメントありがとうございます。

conda listででてきた下記三つはいずれもpypiと書いてあります。
・tensorboardx
・tensorflow-datasets
・tensorflow-metadata

where pipの実行結果は、仮想環境以下のパスでした。
→C:\Users\[username]\Anaconda3\envs\[仮想環境名]\Scripts\pip.exe

where condaの実行結果は、下記のパスでした
→C:\Users\[username]\Anaconda3\condabin\conda.bat

[jbpb0]

当方のWin 10のAnacondaで仮想環境を作って、確認しました
「where pip」と「where conda」の結果は、質問者さんと同じでした

次に、仮想環境にpipでtensorflowを入れて、確認しました
「pip list」と「conda list」共通で、tensor*は下記が表示されました
tensorboard
tensorboard-data-server
tensorboard-plugin-wit
tensorflow
tensorflow-estimator
tensorflow-io-gcs-filesystem
付随して入るものはtensorflowのバージョンによって違うので、項目が質問者さんと当方で違ってるのはいいのですが、上記のようにpipで入れたものも「conda list」で出てくるはずなので、そこは質問者さんの環境が変です

また、「where tensorboard」の結果は、下記の通りでした
C:\Users\XXX\Anaconda3\envs\環境名\Scripts\tensorboard.exe
ちゃんとインストールされて実行可能な状態です
そこも、質問者さんの環境は変です

[essa]

jbpb0様
コメントありがとうございます。

仮想環境まで作成して確認いただき、ありがとうございます。
別の仮想環境を作成して、試してみます！

[essa]

jbpb0様

conda createで新しい仮想環境を作成し、まずはpip tensorflowを実行してpip listを確認したところ、tensorboardはありました。
また、tensorboard.exeもありました！
一旦、新しく作成した開発環境の方でTensorBoard Projecterが動くか試してみます！

[jbpb0]

「conda list」でも、同じものが出てきますか？

[essa]

jbpb0様
コメントありがとうございます。

「conda list」を実行したところ、同じものがでてきました。

[jbpb0]

「where tensorboard」で「tensorboard.exe」が引っかかるなら、「TENSORBOARD_BINARY」を設定する必要はないと思いますよ

[essa]

jbpb0様
コメントありがとうございます。

指定せずに実行したところ、問題なくtensorboardが実行されました！
ありがとうございました！

Answer 1

Windowsで「tensorboard」をインストールしたら、普通はPath上に「tensorboard.exe」が置かれて、わざわざ「TENSORBOARD_BINARY」を設定しないといけない状態にはならないはずです
もし何らかの事情でそうなったとしても、「TENSORBOARD_BINARY」で指定するのは「tensorboard.exe」のパスで、「tensorboard.py」のパスではありません

Comments

[essa]

jbpb0様

先日は詳しく回答いただき、大変ありがとうございました。
関連する質問があるのですが、もしお時間よろしければ見ていただきたく。。。
https://teratail.com/questions/369621
もしお分かりになるようでしたら、ご教示いただけますと幸いです。