【python】 複数のcsvファイルから、複数の散布図重ねて作成

Question

pythonで、別のcsvファイルからデータを抜き出し、条件に合わせて複数の散布図を重ね合わせて作りたいです。

例えば、以下のようなname.csv,a.csv,b.csv,c.csvのデータがある場合、

###name.csv###
num,name
1,aaa
2,bbb
3,ccc
4,ddd

###a.csv###
num,data1,data2
1,3,4
2,5,2
4,6,7

###b.csv###
num,data1,data2
1,2,6
3,3,8
4,5,5

###c.csv###
num,data1,data2
1,3,7
2,7,2
3,8,3

name.csvの順番に合わせて、a.csv,b.csv,c.csvの中のnumが同じ値のものを重ね合わせて散布図を作りたいです。（data1が横軸、data2が縦軸）
結果としては、numが1,2,3,4の４つの散布図を得て、name.csvのnameで保存したいと考えています。

今書いているコードとしては、以下の通りです。
欠損値がある場合もあるので、np.genfromtxtを使って、ファイルを読み込んでいます。
ヘッダーがあるため、skip_header=1をするとヘッダーの次の行が読み込まれなかったため、コメントアウトしています。
name.csvを一行目から読み込んでいき、a.csv,b.csv,c.csvのnumと一致したらplt.scatter()をするという風な操作でしましたが、元のcsvファイルが膨大すぎて、プログラムが固まってしまいました。

貪欲法でやってしまったからなのではと思っているのですが、自分では、これ以上どうすることもできませんでした。ご教授お願いいたします。

import numpy as np
import matplotlib.pyplot as plt
import os

data_set = np.genfromtxt(
    fname='name.csv',
    names=True, 
    dtype=None,
    delimiter=','
    # skip_header=1
)
data_set1 = np.genfromtxt(
    fname='a.csv',
    names=True, 
    dtype=None,
    delimiter=','
    # skip_header=1
)

data_set2 = np.genfromtxt(
    fname='b.csv',
    names=True, 
    dtype=None,
    delimiter=','
    # skip_header=1
)

data_set3 = np.genfromtxt(
    fname='c.csv',
    names=True, 
    dtype=None,
    delimiter=','
    # skip_header=1
)


#散布図を描画 → scatterを使用する
#1行ずつ取り出して描画
#plt.scatter(x座標の値, y座標の値)

for data in data_set:
    plt.figure(figsize=(8, 8))

    for data1 in data_set1:
        if data1[0] == data[0]:  #a.csvとname.csvのnumを比較         
            plt.scatter(data1[1], data1[2],c='r',label='a_label')

        for data2 in data_set2:
            if data2[0] == data[0]:  #b.csvとname.csvのnumを比較               
                plt.scatter(data2[1], data2[2],c='b',label='b_label') 

            for data3 in data_set3:
                if data3[0] == data[0]:  #c.csvとname.csvのnumを比較                  
                    plt.scatter(data3[1], data3[2],c='g',label='c_label') 

                
                plt.title(str(data[1].decode())) #name.csvのname
                plt.xlabel(str(data[1].decode())) #name.csvのname
                plt.ylabel(str(data[1].decode())) #name.csvのname   
                plt.xlim(-1,1)
                plt.ylim(-1,1)
                plt.legend()
                plt.grid()
                plt.savefig('str(data[0])+'_'+str(data[1].decode())'+'.png') #1_aaa.pngの形で保存
                                   

Answer 1

import numpy as np
from numpy.lib.recfunctions import append_fields
import matplotlib.pyplot as plt

# read names
names = np.genfromtxt(
    fname='name.csv',
    names=True, dtype=None, delimiter=',', encoding='utf-8'
)

# read data
csv_files = ['a.csv', 'b.csv', 'c.csv']
colors = ['r', 'b', 'g']
data_set = []
for i, fname in enumerate(csv_files):
    contents = np.genfromtxt(
        fname=fname, names=True, dtype=None, delimiter=',')
    contents = append_fields(
        contents, 'name', [fname.split('.')[0]]*len(contents), usemask=False)
    contents = append_fields(
        contents, 'color', [colors[i]]*len(contents), usemask=False)
    data_set.append(contents)

# plot data
for num, name in names:
    data = np.concatenate([d[d['num'] == num] for d in data_set])
    plt.figure(figsize=(8, 8))
    for d in data:
        plt.scatter(d['data1'], d['data2'], c=d['color'], label=d['name'])
    plt.title(name); plt.xlabel(name); plt.ylabel(name)
    plt.xlim(0,10); plt.ylim(0,10)
    plt.grid(); plt.legend()
    plt.savefig(f'{num}_{name}.png')

※ plt.savefig で保存した 4 枚のプロット画像を 2行x2列 で結合

Comments

[kkkkknnnnn]

ありがとうございます！動かすことができました。
ちなみに、a.csvのデータは赤、b.csvのデータは青、c.csvのデータは緑のようにマーカーを色分けすることはできるでしょうか？

Answer 2

まずデータを読み込んで以下のようにしてください。

>>> print(df_name)
   num name
0    1  aaa
1    2  bbb
2    3  ccc
3    4  ddd
>>> print(df_a)
   num  data1  data2
0    1      3      4
1    2      5      2
2    4      6      7
>>> print(df_b)
   num  data1  data2
0    1      2      6
1    3      3      8
2    4      5      5
>>> print(df_c)
   num  data1  data2
0    1      3      7
1    2      7      2
2    3      8      3

あとは、以下のコードを実行してください。

df_a['c'] = 'r'
df_b['c'] = 'g'
df_c['c'] = 'b'

df_all = pd.merge(pd.concat([df_a, df_b, df_c], ignore_index=True), df_name)

fig, ax = plt.subplots(2, 2, figsize=(8, 8))
for n in range(4):
    df_partial = df_all[df_all['name'] == df_name['name'][n]]
    ax_n = ax.flatten()[n]
    ax_n.scatter(df_partial['data1'], df_partial['data2'], c=df_partial['c'])
    ax_n.set_title(df_name['name'][n])
    ax_n.set_xlim(1, 10)
    ax_n.set_ylim(1, 10)

plt.show()

実行結果

Comments

[kkkkknnnnn]

ありがとうございます！