csvファイルの参照・並べ替えがしたい

Question

前提・実現したいこと

Test2.csvのうちID列の2行目以降全てに"S_"を付与した上で，Test1.csvのID列に従いTest2.csvのID・Nubmer列を並べ直したいと考えています．お知恵をお貸し頂けますと幸いです．宜しくお願い致します．
尚，こちらは本データ(1000行以上)を簡略化したものです．

該当のソースコード

#!/usr/bin/python
# -*- coding: utf-8 -*-
import pandas as pd

input_path1 = "Test.csv"
input_path2 = "Test2.csv"
output_path = "output.csv"
df1 = pd.read_csv(filepath_or_buffer=input_path1, encoding="utf-8")
df2 = pd.read_csv(filepath_or_buffer=input_path2, encoding="utf-8")
df1 = df1.set_index('ID')
df2 = df2.set_index('ID')

for column_name, item in df2.iteritems():
    item = "S_" + item
    df2 = df1.reindex_like(df2)

with open(output_path, mode='w') as f:
    f.write()

エラーメッセージ

Traceback (most recent call last):
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/ops/__init__.py", line 968, in na_op
    result = expressions.evaluate(op, str_rep, x, y, **eval_kwargs)
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/computation/expressions.py", line 221, in evaluate
    return _evaluate(op, op_str, a, b, **eval_kwargs)
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/computation/expressions.py", line 70, in _evaluate_standard
    return op(a, b)
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/ops/roperator.py", line 9, in radd
    return right + left
numpy.core._exceptions.UFuncTypeError: ufunc 'add' did not contain a loop with signature matching types (dtype('<U32'), dtype('<U32')) -> dtype('<U32')

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "narabekae.py", line 14, in <module>
    item = "S_" + item
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/ops/__init__.py", line 1048, in wrapper
    result = na_op(lvalues, rvalues)
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/ops/__init__.py", line 970, in na_op
    result = masked_arith_op(x, y, op)
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/ops/__init__.py", line 464, in masked_arith_op
    result[mask] = op(xrav[mask], y)
  File "/Users/macuser/downloads/yes/lib/python3.7/site-packages/pandas/core/ops/roperator.py", line 9, in radd
    return right + left
numpy.core._exceptions.UFuncTypeError: ufunc 'add' did not contain a loop with signature matching types (dtype('<U32'), dtype('<U32')) -> dtype('<U32')

理想の状態 (output.csv)

ID,Number
S_AA,2.13
S_BB,2.21
S_CC,2.09
S_DD,2.38
S_EE,2.52

使用ファイル1 (Test1.csv)

ID,Number
S_AA,2.1
S_BB,2.2
S_CC,2.3
S_DD,2.4
S_EE,2.5

使用ファイル2 (Test2.csv)

ID,Number
CC,2.09
EE,2.52
AA,2.13
DD,2.38
BB,2.21

補足情報（FW/ツールのバージョンなど）

macOS10.15.4 Python3.7.3 Atom

Answer 1

• 「S_」の付与は、applyでできます。
• 並べ直しと言っている処理はmergeで実現できると思います。

import pandas as pd

input_path1 = "test.csv"
input_path2 = "test2.csv"
output_path = "output.csv"
df1 = pd.read_csv(filepath_or_buffer=input_path1, encoding="utf-8")
df2 = pd.read_csv(filepath_or_buffer=input_path2, encoding="utf-8")

# df2のIDの列に「S_」を付与
df2['ID'] = df2['ID'].apply(lambda x: f'S_{x}')

# df1 と df2 を IDをキーにしてマージ
df_res = pd.merge(df1, df2, left_on='ID', right_on='ID')

df_res

結果はこんな感じになります。

     ID      Number_x  Number_y
0    S_AA    2.1       2.13
1    S_BB    2.2       2.21
2    S_CC    2.3       2.09
3    S_DD    2.4       2.38
4    S_EE    2.5       2.52

merge()の引数を調整したり、不要なカラムを削除すれば望みの物が手にはいると思います。

Comments

[Male_soprano]

有難うございます．お返事が遅くなり失礼しました．
ところで，並べ替えた内容をoutput_pathに反映させるのはどのようにすれば宜しいでしょうか？

[TakaiY]

to_csv()を使えばできるでしょう。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_csv.html#pandas-dataframe-to-csv

検索すればいろいろ使いかたも出てくると思いますよ