python pandas 縦長になってしまっている表を見やすくしたい

Question

前提・実現したいこと

(aaa.csv)
	A	B	C	D	E
1	0.2	0	0.8	0	0
0	0	0.3	0	0.6	0.1
1	0.1	0.5	0.2	0.2	0
0	0	0	0	1	0

(bbb.csv)
number	A	B	C	D	E
#0	0.9	0.1	0	0	0
#1	0	0.1	0.4	0.5	0
#2	0	0.1	0.3	0.5	0.1
#3	0.3	0	0	0.2	0.5
#4	0	0.2	0.7	0.1	0
#5	0.4	0	0.1	0	0.5

２つのファイルを参照し、各差の二乗和を６×４の表で出力したいです。((0.2-0.9)^2+(0-0.1)^2+(0.8-0)^2+(0-0)^2+(0-0)^2と同様の計算24個の値を表示させたいです。）

該当のソースコード

# -*- coding: utf-8 -*-

# built-in module(s)
import csv
import itertools
import os
import sys
import time

# not built-in
try:
    import pandas as pd
    import numpy as np

except ImportError as ie:
    print(ie.name + " cannot be imported!")
    sys.exit(1)
            
def main():
    in1Csv = pd.read_csv( "aaa.csv", encoding="utf_8", header=0)
    in2Csv = pd.read_csv("bbb.csv", encoding="utf_8", header=0)

    writerows = []
    for index, row1 in in1Csv.iterrows():
        x = row1[1:6]
        for index, row2 in in2Csv.iterrows():
            y = row2[1:6]
            writerow = [row2["number"]]
            n = sum((x1-y1)**2 for x1, y1 in zip(x, y))
            writerow.append(n)
            writerows.append(writerow)
    output_df = pd.DataFrame(writerows)
    output_df = output_df.round(3)
    output_df.to_csv("norm2.csv", index=False)

if __name__ == '__main__':
    main()

現状と問題点

上記のコードを動かすと、以下のようなCSVファイルが生成されます。

0	1
#0	1.14
#1	0.46
#2	0.56
#3	0.94
#4	0.1
#5	0.78
#0	1.22
#1	0.22
#2	0.14
#3	0.5
#4	0.76
#5	0.78
#0	0.88
#1	0.3
#2	0.28
#3	0.58
#4	0.36
#5	0.64
#0	1.82
#1	0.42
#2	0.36
#3	0.98
#4	1.34
#5	1.42

このように縦長の表になってしまい、以下のように出力させたいです。
現状の２度目の＃0～＃5を横に表示させたいです。

number	1	2	3	4
#0	1.14	1.22	0.88	1.82
#1	0.46	0.22	0.3	0.42
#2	0.56	0.14	0.28	0.36
#3	0.94	0.5	0.58	0.98
#4	0.1	0.76	0.36	1.34
#5	0.78	0.78	0.64	1.42

###試したこと
現状ではwriterowとwriterowsがlist型になってるのでpandasでDataframe型などにした上でassignなども使ってみましたが、うまくいきませんでした。
改善案を教えていただきたいです。よろしくお願いいたします。

Answer 1

今の形をいかすなら、ループの順番を変えて、writerowに一行まとめて入るようにすればいいです。

writerows = []
for index, row2 in in2Csv.iterrows():
    writerow = [row2["number"]]
    y = row2[1:6]
    for index, row1 in in1Csv.iterrows():
        x = row1[1:6]
        n = sum((x - y) ** 2)
        writerow.append(n)
    writerows.append(writerow)
output_df = pd.DataFrame(writerows)
output_df = output_df.round(3)

Comments

[Teru_miyanaga]

たった今bsdfanさんと同じ書き方でうまくできてこのサイトを見に来たところでした！
ppaulさんもありがとうございました

Answer 2

pandasでやるのは難しそうですのでnumpyでやってみました。

import numpy as np
x = np.stack([df_a.values]*6)
y = np.stack([df_b.values[:,1:]]*4, axis=1)
df_c = pd.DataFrame(np.sum((x-y)**2, axis=2))
df_c.insert(0, 'number', df_b['number'])
print(df_c)

実行結果

>>> print(df_c)
  number     0     1     2     3
0     #0  1.14  1.22  0.88  1.82
1     #1  0.46  0.22   0.3  0.42
2     #2  0.56  0.14  0.28  0.36
3     #3  0.94   0.5  0.58  0.98
4     #4   0.1  0.76  0.36  1.34
5     #5  0.78  0.78  0.64  1.42

元データは以下です。

>>> aaa='''A    B    C    D    E
... 0.2    0    0.8    0    0
... 0    0.3    0    0.6    0.1
... 0.1    0.5    0.2    0.2    0
... 0    0    0    1    0'''
>>> with io.StringIO(aaa) as f:
...     df_a = pd.read_csv(f, sep=' +', engine='python')
...
>>> bbb='''number    A    B    C    D    E
... #0    0.9    0.1    0    0    0
... #1    0    0.1    0.4    0.5    0
... #2    0    0.1    0.3    0.5    0.1
... #3    0.3    0    0    0.2    0.5
... #4    0    0.2    0.7    0.1    0
... #5    0.4    0    0.1    0    0.5'''
>>> with io.StringIO(bbb) as f:
...     df_b = pd.read_csv(f, sep=' +', engine='python')
...
>>> print(df_a)
     A    B    C    D    E
0  0.2  0.0  0.8  0.0  0.0
1  0.0  0.3  0.0  0.6  0.1
2  0.1  0.5  0.2  0.2  0.0
3  0.0  0.0  0.0  1.0  0.0
>>> print(df_b)
  number    A    B    C    D    E
0     #0  0.9  0.1  0.0  0.0  0.0
1     #1  0.0  0.1  0.4  0.5  0.0
2     #2  0.0  0.1  0.3  0.5  0.1
3     #3  0.3  0.0  0.0  0.2  0.5
4     #4  0.0  0.2  0.7  0.1  0.0
5     #5  0.4  0.0  0.1  0.0  0.5

Comments

[Teru_miyanaga]

実際にaaa.csvとbbb.csvのデータを入力する形ですかね？