for文を使用したデータの繰り返し読み込み、データの図示

Question

前提

3種類のデータの変化を格納したテキストファイルをテストとして,data1.txt~data10.txtの数値データを
x,y,zにそれぞれ分けてx,y軸を決めて散布図に図示します。(本来はテキストファイルは2000ありますが、テストとして10個とさせていただきます。)
一応、Google Driveですが、共有させていただきます。
必要であればダウンロードしていただければと思います。

実現したいこと

繰り返し処理を用いて、テキストファイルを読み込み、それらのデータを一つの図(散布図)にまとめて表示させたいです。

発生している問題・エラーメッセージ

テキストファイルの繰り返し読み込み、散布図の生成は出力することはできました。
ですが、for文の繰り返しをして出力すると最後に読み込んだテキストファイルのデータのみしか図示されません。
繰り返し読み込んだ全てのテキストファイルをまとめて一枚に表示する方法を教えていただきたいです。
可能であれば、始点、終点、軌跡を別々で表示する方法があれば教えていただければと思います。

import numpy as np
import matplotlib.pyplot as plt

s=input() #終点データの桁数が違うことがあるので任意の値を入力(今回は30をデフォルトで入力)#
n=int(s)

for i in range(1,10):
 z,y,x=np.loadtxt("/data{}.txt".format(i),unpack=True)

#内容確認用の出力#
print(y)
print(x)

#ラベル#
plt.xlabel("x")
plt.ylabel("y")

#マーカーの種類,基本*,始点+,終点・#
#散布図の出力#
plt.scatter(x,y,marker='*')
plt.scatter(x[0],y[0],marker='+')
plt.scatter(x[n],y[n])
plt.show()

補足情報（FW/ツールのバージョンなど）

Google Colaboratory

Answer 1

Pandas のデータフレームを使う場合。

import pandas as pd
import matplotlib.pyplot as plt

n = 30
dfs = [pd.read_table(f'/data_{i}.txt', sep=r'\s+', header=None, names=['z', 'y', 'x'])
         .head(n) for i in range(1, 11)]

plt.figure(figsize=[6, 6])
ax = plt.gca()
for df in dfs:
    df.iloc[1:-1].plot(x='x', y='y', kind='scatter', marker='*', ax=ax)
    plt.scatter(x=df.iloc[0]['x'], y=df.iloc[0]['y'], marker='+')
    plt.scatter(x=df.iloc[-1]['x'], y=df.iloc[-1]['y'])

plt.show()

Comments

[beginner_py3]

ありがとうございます。
実際に試したところ再現することができました。

データフレームに詳しくなく、追加での質問になってしまい申し訳ありません。
通常plt.plot()で線を表現することができるのですが、それぞれのファイルの始点と終点を結ぶ場合データフレームで扱う場合はどのように記述すれば良いのでしょうか？
plt.plot(x,y)とすると一部ファイルの始点から終点まで軌跡を含めて線で結ぶ形になってしまいました。

[melian]

for ループの最後に以下を追加して下さい。

df.iloc[[0,-1]].plot.line(x='x', y='y', ax=ax)

[beginner_py3]

ありがとうございます。
無事に出力することができました。

それぞれの線毎に-yが何色かのリストが右上に出てきたのですが、これはColabratoryの仕様でしょうか？

[beginner_py3]

すみません。
forループの外でax.get_legend().remove()を追加することで凡例を削除できました。
これでも別に問題などはないのでしょうか？

[melian]

はい、問題ありません。

[beginner_py3]

ありがとうございます。

何度も追加で質問してすみません。
最後に始点と終点を結ぶ直線を表示した時に直線が上に乗って点が隠れてしまうのですが、sizeの問題でしょうか？
それとも流れを直線の表示をしてから始点終点を表示させれば解決するのでしょうか？

[melian]

zorder を指定してみて下さい。

df.iloc[[0,-1]].plot.line(x='x', y='y', zorder=-1, ax=ax)

[beginner_py3]

なるほど、zorderで値を指定してレイヤーを操作するんですね。

長々お付き合いいただき、ありがとうございました。

Answer 2

ですが、for文の繰り返しをして出力すると最後に読み込んだテキストファイルのデータのみしか図示されません。

for i in range(1,10):
 z,y,x=np.loadtxt("/data{}.txt".format(i),unpack=True)

forループを抜けた時点では、z,y,xにi=10のテキストファイルのデータが入っているからです。

繰り返し読み込んだ全てのテキストファイルをまとめて一枚に表示する方法を教えていただきたいです。
可能であれば、始点、終点、軌跡を別々で表示する方法があれば教えていただければと思います。

期待する結果を読み取れていませんが、とりあえず出力もforループに入れてしまえば、すべてのデータが出力されるのでは。（試していません）

import numpy as np
import matplotlib.pyplot as plt

s=input() #終点データの桁数が違うことがあるので任意の値を入力(今回は30をデフォルトで入力)#
n=int(s)

for i in range(1,10):
  z,y,x=np.loadtxt("/data{}.txt".format(i),unpack=True)

  #内容確認用の出力#
  print(y)
  print(x)

  #ラベル#
  plt.xlabel("x")
  plt.ylabel("y")

  #マーカーの種類,基本*,始点+,終点・#
  #散布図の出力#
  plt.scatter(x,y,marker='*')
  plt.scatter(x[0],y[0],marker='+')
  plt.scatter(x[n],y[n])
  plt.show()

Comments

[beginner_py3]

ありがとうございます。
C言語などのようにfor文を{}でくくるのとは違い、Pythonのインデントの処理をすればループに入れられるのですね。勘違いしていました。

全てのファイルを読み込むこともできたのですが、散布図の出力をするとファイルごとに散布図が出力されます。
ファイルのデータをまとめて出力するにはどのようにすればよろしいのでしょうか？