[python]二つのcsvファイルから一致する行を抽出して書き込む

Question

下記のようなdata1.csv,data2.csvのようなcsvファイルがあるとき、data3.csvのようにdata1.csvとdata2.csvのnameが一致する行にdata1.csvのsを追加で書き込むようなプログラムを作りたいです。

###data1.csv###
name,s
a1,5
a2,6
a3,1
a4,3
a5,7
a6,1

###data2.csv###
num,name,d1,d2,d3
1,a1,4,6,2
2,a2,9,7,3
3,a3,3,3,4
4,a4,5,2,3
1,a1,6,6,2
2,a2,3,8,3
5,a5,3,6,4
6,a6,9,5,3

###data3.csv###
num,name,d1,d2,d3,s
1,a1,4,6,2,5
2,a2,9,7,3,6
3,a3,3,3,4,1
4,a4,5,2,3,3
1,a1,6,6,2,5
2,a2,3,8,3,6
5,a5,3,6,4,7
6,a6,9,5,3,1

# csvファイルを扱うための関数を読み込む
import csv
import glob
import os
import shutil



# read_fpをdata.csvの読み込みポインタとして定義
read_fp1=csv.reader(open("data1.csv", "r"))
read_fp2=csv.reader(open("data2.csv", "r"))

with open('data3.csv', 'w') as f:
    writer = csv.writer(f)


for line2 in read_fp2:
    num = line2[0]
    name1 = line2[1]
    d1 = line2[2]
    d2 = line2[3]
    d3 = line2[4]
    for line in read_fp1:
        name2 = line[0]
        s = line[1]
        if name1==name2:
            with open('data3.csv', 'a') as f:
                writer = csv.writer(f)
                writer.writerow(['num','name','d1','d2','d3','s'])
            f.close()

for文でnameが一致する行を書き込もうとしましたが、うまく動かずできなかったため、ご教授お願いいたします。

Comments

[meg_]

> うまく動かずできなかったため
上記はエラーで動作しなかったという意味でしょうか？別の意味でしょうか？

[kkkkknnnnn]

エラーは出なかったのですが、if文の中に入らずdata3.csvに書き込めなかったという意味です。曖昧な表現をしてしまい、申し訳ありません。

Answer 1

pandasを使うのが楽です。

import pandas as pd

df1 = pd.read_csv('data1.csv')
df2 = pd.read_csv('data2.csv')
df3 = pd.merge(df2, df1, how='left')
df3.to_csv('data3.csv', index=None)
print(df1)
print(df2)
print(df3)

実行結果の一部

>>> print(df1)
  name  s
0   a1  5
1   a2  6
2   a3  1
3   a4  3
4   a5  7
5   a6  1
>>> print(df2)
   num name  d1  d2  d3
0    1   a1   4   6   2
1    2   a2   9   7   3
2    3   a3   3   3   4
3    4   a4   5   2   3
4    1   a1   6   6   2
5    2   a2   3   8   3
6    5   a5   3   6   4
7    6   a6   9   5   3
>>> print(df3)
   num name  d1  d2  d3  s
0    1   a1   4   6   2  5
1    2   a2   9   7   3  6
2    3   a3   3   3   4  1
3    4   a4   5   2   3  3
4    1   a1   6   6   2  5
5    2   a2   3   8   3  6
6    5   a5   3   6   4  7
7    6   a6   9   5   3  1

参考
pandasでcsv/tsvファイル読み込み（read_csv, read_table）
pandas.DataFrameを結合するmerge, join（列・インデックス基準）
pandasでcsvファイルの書き出し・追記（to_csv）

Comments

[kkkkknnnnn]

pandasだとこんな簡単に作れるんですね、、
ありがとうございます！
課題「if文の中に入らずdata3.csvに書き込めなかった」についても改善していただいた部分を書き直したら動きましたが、pandasの方で取り組みたいと思います。

Answer 2

問題は他にもありますが、直面している課題「if文の中に入らずdata3.csvに書き込めなかった」について改善しました。

# csvファイルを扱うための関数を読み込む
import csv
import glob
import os
import shutil



# read_fpをdata.csvの読み込みポインタとして定義
read_fp1=csv.reader(open("data1.csv", "r"))
data1 = [row for row in read_fp1]
read_fp2=csv.reader(open("data2.csv", "r"))

with open('data3.csv', 'w') as f:
    writer = csv.writer(f)


for line2 in read_fp2:
    num = line2[0]
    name1 = line2[1]
    d1 = line2[2]
    d2 = line2[3]
    d3 = line2[4]
    for line in data1:
        name2 = line[0]
        s = line[1]
        if name1==name2:
            with open('data3.csv', 'a') as f:
                writer = csv.writer(f)
                writer.writerow(['num','name','d1','d2','d3','s'])
            f.close()

修正箇所はdata1 = [row for row in read_fp1]とfor line in data1:になります。
元のコードではdata1.csvを一度読み込んで終了してしまいますので、データをリストに格納して使用しています。