テキストファイル内のデータの一部を抽出してプリント&プロットしたい

Question

Python3を勉強している最中に行き詰ってしまいました。お時間がある方、是非ご指導お願いいたします。

###実現したいこと

テキストファイルa.txt内のデータのうち、２列目（c1）の値がmin以上max以下であるものだけ抽出して表示＆一列目（c0）の行番号を横軸、２列目の値を縦横に設定し、黒い直線としてプロットしたい。　　　　　　

ソースコード↓

import numpy as np
import matplotlib.pyplot as plt

f= 'a.txt'
min= 0.0085
max= 0.0090
c0,c1,c2= np.loadtxt(f, unpack=True)

infile= open(f, 'r')
for line in infile:
    cols=line.split()
    c0= int(cols[0])
    c1= float(cols[1])
    c2= float(cols[2])
    if c1 >= min and c1 <= max:
        plt.plot(c0, c1)
        plt.show()
    print(c0, c1)

a.txt にデータを書き込むためのコード↓

import numpy as np

b = np.arange(0.005, 0.05, 0.0001)
c = np.arange(1.5, 2.51, 0.01)

with open('a.txt','w') as f:
    for a in range(1,101):
        f.write('{:<3d} {:<3f} {:<3f}\n'.format(a,b[a-1],c[a-1]))

"""" 
1   0.005000 1.500000
2   0.005100 1.510000
3   0.005200 1.520000
4   0.005300 1.530000
...
36  0.008500 1.850000
37  0.008600 1.860000
38  0.008700 1.870000
39  0.008800 1.880000
40  0.008900 1.890000
41  0.009000 1.900000
...
98  0.014700 2.470000
99  0.014800 2.480000
100 0.014900 2.490000
""""

###実行結果と発生した問題
問題１：抽出したいデータを正しく抽出できなかった。

ソースコードを実行すると、ターミナル上には１行目から３５行目まで表示されました。抽出したかったのは、３６行目から４１行目までです。

問題２：表示したいグラフを正常に表示できなかった。横軸(c0)が浮動小数点数になってしまった。

実行すると、以下のようなグラフが複数個表示されました。
複数でたグラフについて、それぞれのグラフは縦軸と横軸の値が少しずつ違っていますが、何もpictureが表示されていないという点は同じです。

情報の不足があれば随時追記します。ご指導よろしくお願いいたします。

###実行環境
macOS Mojave
Atom 1.31.2

Comments

[hayataka2049]

a.txt にデータを書き込むためのコードを実行してからソースコードを走らせてみましたが、質問文で説明されている状況と違った出力になるようです。質問文に何か間違いがあるのでは？

[balckbell]

今実行し直してみたところ、確かに違う結果が得られました。混乱を生んでしまいすみません。間違いを探してみます。ご指摘ありがとうございました。

Answer 1

書き直すならこんな感じですかねぇ。

import numpy as np
import matplotlib.pyplot as plt

file_name= 'a.txt'  # fだとわかりづらい
min_ = 0.0085  # min, maxは組み込み関数とかぶるからやめる
max_ = 0.0090
c0,c1,c2= np.loadtxt(file_name, unpack=True)
# せっかく読み込んだのに改めてopenするのは無駄……

idx = (min_ <= c1) & (c1 <= max_)  # 条件に対応するboolean arrayを作れば良い
x, y = c0[idx], c1[idx]  # 作ったidxで抽出
plt.plot(x, y) # 配列で渡せば一度のplotで可
plt.show()  # 複数回showを呼ぶと呼ぶたびに表示されるので一度だけ呼ぶ

Comments

[balckbell]

hayataka2049さん、丁寧な説明付きの回答をありがとうございます。
追っていくつか質問があります。お時間があるときにお答えいただけると助かります。

改めてopenする必要がないとのことですが、loadtxtが open file&load data という二つのタスクを行なっているという認識であっているでしょうか?
また、idx=...の部分では、idxという変数に論理式を代入しているのでしょうか？
line.spritが必要ないのは、loadtxtの文でunpack=Trueとして列を扱うと提示しているからでしょうか？

よろしくお願いいたします。

[hayataka2049]

＞改めてopenする必要がないとのことですが、loadtxtが open file&load data という二つのタスクを行なっているという認識であっているでしょうか?
はい
＞また、idx=...の部分では、idxという変数に論理式を代入しているのでしょうか？
ブール値の配列です。実際にprintなどして確認してください。
＞line.spritが必要ないのは、loadtxtの文でunpack=Trueとして列を扱うと提示しているからでしょうか？
基本的にそうですが、loadtxtの時点でnumpy配列になっているのでそもそも文字列として処理する過程が入りません。

[balckbell]

それぞれの質問に対し丁寧にご回答くださりありがとうございます。
とても良い勉強になりました。ありがとうございました。

Answer 2

描画したい座標値（点群）を保持しておいて、最後に描画すればよいです。

import numpy as np
import matplotlib.pyplot as plt

f= 'a.txt'
min= 0.0085
max= 0.0090
c0,c1,c2= np.loadtxt(f, unpack=True)

x,y = [],[] # *****
infile= open(f, 'r')
for line in infile:
    cols=line.split()
    c0= int(cols[0])
    c1= float(cols[1])
    c2= float(cols[2])
    if c1 >= min and c1 <= max:
        # 座標値を保持しておく
        x.append(c0)
        y.append(c1)
    print(c0, c1)

# 最後に描画
plt.plot(x, y)
plt.show()

Comments

[balckbell]

can110さん、コメントも入れたわかりやすい回答をありがとうございます。グラフが複数個表示されたのは、pltがループの中に入っていたからなのですね。完全に見過ごしていました。

おって質問なのですが、x,y=[],[]というところでは、x,yそれぞれにリストを作成しているということでしょうか？
また、x.append(c0)で、x=c0とできないのはなぜですか？

お時間がある際にご回答いただければ幸いです。

[can110]

> x,y=[],[]というところでは、x,yそれぞれにリストを作成しているということでしょうか？
はい。そうです。また、x=c0(=int(cols[0]))だと単一の値しか保持できていないのでリストに複数の値を保持するようにしています。
ただ、質問コード全体をよく見てみるとすでにc0,c1,c2にデータ全体を読み込んでいますね。
よってhayataka2049さんの回答コードのほうが無駄がなくて良いと思います。

[balckbell]

なるほど、わかりました。フォローアップまでありがとうございました。
はい、hayataka2049さんには、改めて読み込む必要はないとご指摘をいただきました。
とても勉強になりました。本当にありがとうございました。