Python Pandas 毎回列数の違うCSVを取り込んで固定の列数で尚且つ列名を修正して書き出したい。

Question

こんにちは。
Python Pandas 毎回列数の違うCSVを取り込んで固定の列数で尚且つ列名を修正して書き出したいと考えています。

1.csv

品名,A,B,C,D,E,
りんご,12,30,20,30,,
みかん,18,40,28,30,10,
りんご,12,30,20,30,,
ぶどう,55,30,20,62,,

のようなCSVがあり、

pandasで読み込んで、列名を

df.columns = ['品名','店名A', '店名B', '店名C', '店名D', '店名E']

とすると

品名,店名A,店名B,店名C,店名D,店名E
りんご,30,20,30,NaN,NaN,
みかん,18,40,28,30,10,
ぶどう,30,20,30,NaN,NaN,
バナナ,30,20,62,NaN,NaN,

という風に返ってきます。

しかし元のCSVが、

別の列数が少ない1.csv

品名,A,B,C
りんご,30,20,30
みかん,18,40,28
ぶどう,30,20,30
バナナ,30,20,62

だと、

df.columns = ['品名','店名A', '店名B', '店名C', '店名D', '店名E']

とすると

ValueError: Length mismatch: Expected axis has 4 elements, new values have 6 elements

で返ってきます。

本来4列のデータなのに6列で指定しているからエラーですよと言っているのはなんとなく解るのですが、
取り込みたいCSVの列が毎回一定列数ではなく、なおかつ出力は'品名','店名A', '店名B', '店名C', '店名D', '店名E'のように

品名,店名A,店名B,店名C,店名D,店名E
りんご,30,20,30,NaN,NaN,
みかん,18,40,28,NaN,NaN,
ぶどう,30,20,30,NaN,NaN,
バナナ,30,20,62,NaN,NaN,

の6列で固定したいのですが、df['店名D','店名E']などで列を2つ増やすとしても3列の場合もあれば2列の場合もありそうすると結局Length mismatch:のエラーになってしまうのでその考え方は的外れなのはわかります…
こういった場合どのようにすればいいのでしょうか？

よろしくお願い致します。

Answer 1

足りない列を追加してから列名を設定しましょう。

>>> import pandas as pd
>>> import io
>>>
>>> indata = '''品名,A,B,C
... りんご,30,20,30
... みかん,18,40,28
... ぶどう,30,20,30
... バナナ,30,20,62'''
>>> with io.StringIO(indata) as f:
...     df = pd.read_csv(f)
...
>>> print(df)
    品名   A   B   C
0  りんご  30  20  30
1  みかん  18  40  28
2  ぶどう  30  20  30
3  バナナ  30  20  62
>>> column_max = 6
>>> for i in range(column_max - df.shape[1]):
...     df[i] = float('NaN')
...
>>> df.columns = ['品名','店名A', '店名B', '店名C', '店名D', '店名E']
>>> print(df)
    品名  店名A  店名B  店名C  店名D  店名E
0  りんご   30   20   30  NaN  NaN
1  みかん   18   40   28  NaN  NaN
2  ぶどう   30   20   30  NaN  NaN
3  バナナ   30   20   62  NaN  NaN

Comments

[eqeqe]

すごい！できました!
column_max = 6 で最大列6列にして
column_max - df.shape[1]　でMAXまで[1]列を追加して
値もfloat型で実数に指定するということなのでしょうか？
いろいろな使い方があるのですね、勉強になります。
ありがとうございました！

[ppaul]

float('NaN')としている理由は、ppandasのDataFrameの欠損値がfloat('NaN')だからです。
NaNは「数じゃないよ(Not a Number)」の略で「非数」とか呼ばれています。

[eqeqe]

ありがとうございます！いまいちNaNの扱いもあやふやなので非数で一度検索して熟読してみます。
あといただいたコメントで恐縮なのですが、実は朝ご回答いただいたこの質問なのですが、
質問の通りだとうまくいくのですが、応用してみようと思って df.groupbyを使ってソートした結果を同じように列を増やそうと思っても頂いたコードがスルーされてしまうのか
例によってValueError: Length mismatch: Expected axis has 4 elements, new values have 6 elements で返って来てしまいました。
後ほど再度改めて質問ページに質問いたしますのでもしよろしければご回答いただけないでしょうか…よろしくお願いします！