質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.57%

Ubuntuでテキストファイルをコマンドで更新する方法

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 671

kaffe-marsh

score 13

Ubuntu上でCaffeを使い、機械学習を実行しています。

学習が終わった際にLossとAccuracyのグラフを描画しています。
この時にCaffeに元から入っていた"plot_log.gnuplot.example"というファイルを元にグラフを作っています。

# These snippets serve only as basic examples.
# Customization is a must.
# You can copy, paste, edit them in whatever way you want.
# Be warned that the fields in the training log may change in the future.
# You had better check the data files before designing your own plots.

# Please generate the necessary data files with 
# /path/to/caffe/tools/extra/parse_log.sh before plotting.
# Example usage: 
#     ./parse_log.sh mnist.log
# Now you have mnist.log.train and mnist.log.test.
#     gnuplot mnist.gnuplot

# The fields present in the data files that are usually proper to plot along
# the y axis are test accuracy, test loss, training loss, and learning rate.
# Those should plot along the x axis are training iterations and seconds.
# Possible combinations:
# 1. Test accuracy (test score 0) vs. training iterations / time;
# 2. Test loss (test score 1) time;
# 3. Training loss vs. training iterations / time;
# 4. Learning rate vs. training iterations / time;
# A rarer one: Training time vs. iterations.

# What is the difference between plotting against iterations and time?
# If the overhead in one iteration is too high, one algorithm might appear
# to be faster in terms of progress per iteration and slower when measured
# against time. And the reverse case is not entirely impossible. Thus, some
# papers chose to only publish the more favorable type. It is your freedom
# to decide what to plot.

reset
set terminal png
set output "your_chart_name.png"
set style data lines
set key right

###### Fields in the data file your_log_name.log.train are
###### Iters Seconds TrainingLoss LearningRate

# Training loss vs. training iterations
#set title "Training loss vs. training iterations"
#set xlabel "Training iterations"
#set ylabel "Training loss"
#plot "mnist.log.train" using 1:3 title "mnist"

# Training loss vs. training time
# plot "mnist.log.train" using 2:3 title "mnist"

# Learning rate vs. training iterations;
# plot "mnist.log.train" using 1:4 title "mnist"

# Learning rate vs. training time;
# plot "mnist.log.train" using 2:4 title "mnist"


###### Fields in the data file your_log_name.log.test are
###### Iters Seconds TestAccuracy TestLoss

# Test loss vs. training iterations
# plot "mnist.log.test" using 1:4 title "mnist"

# Test accuracy vs. training iterations
# plot "mnist.log.test" using 1:3 title "mnist"

# Test loss vs. training time
# plot "mnist.log.test" using 2:4 title "mnist"

# Test accuracy vs. training time
 plot "mnist.log.test" using 2:3 title "mnist"


この時、*.trainと*.testというファイルから数値を取得してグラフを作っているのだと思うのですが、フォルダ内にあるこれらの拡張子を持つファイル名を順番に取得して、テキストファイルを更新していくにはどのようなコマンドで記述すればいいのでしょうか。

例えばフォルダ内に
aaa.train
aaa.test
bbb.train
bbb.test
ccc.train
ccc.test
という風にファイルがある時に、テキストファイル内の

plot "mnist.test" using 2:3 title "mnist"


"mnist"の部分を"aaa"に更新してgnuplotでグラフを書き、
その後に"aaa"を"bbb"、"bbb"を"ccc"に変えていきフォルダ内の全てのグラフを描画したいと思っています。

知識がないため、上手く説明ができていないかもしれませんが
ご教示よろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

テキストファイルとコマンド実行の関係が分かりませんでしたが、

for f in `ls *.{train,test} | sed -r "s/\..+$//" | uniq`
do
  echo plot \"$f.test\" using 2:3 title \"$f\"
done


このような処理実行が参考になりませんか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.57%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る