投稿2021/05/06 15:18
編集2021/05/06 18:51Python pandas CSV のデータ加工につきまして、
お店の仕入れデータで下の【元データ】のようなものＣＳＶがあるのですが
別のソフトに読み込ますときに【最終】の形にしないといけなくて
今はエクセルで手動で置換＆行削除していますがミスがあったりするので
できれば自動化したいと思っています。
【元データ】
Ａ Ｂ Ｃ Ｄ Ｅ
本 店 りんご
本 店 バナナ
本 店 みかん
本 店 いちご
芦屋店 バナナ
西宮店 りんご
西宮店 バナナ
尼崎店 りんご
三宮店 りんご
三宮店 バナナ
三宮店 みかん
【途中】
Ａ Ｂ Ｃ Ｄ Ｅ
本 店 りんご バナナ みかん いちご
本 店 バナナ
本 店 みかん
本 店 いちご
芦屋店 バナナ
西宮店 りんご バナナ
西宮店 バナナ
尼崎店 りんご
三宮店 りんご バナナ みかん
三宮店 バナナ
三宮店 みかん
【最終】
Ａ Ｂ Ｃ Ｄ Ｅ
本 店 りんご バナナ みかん いちご
芦屋店 バナナ
西宮店 りんご バナナ
三宮店 りんご バナナ みかん
と、店名（Ａ列）と商品（Ｂ列）が商品（Ｂ列）で縦に羅列されたものを
と、店名（Ａ列）と商品（Ｂ列）を横に並べるようにしたいのですが、
順序が逆ですが【途中】→【最終】は
df1 = df.drop_duplicates(subset=['Ａ'], keep='first') で、自力で出来たのですが
肝心の【元データ】→【途中】で困っています。
頭の中では、
① Ａ列上から順に上下の行を比較して同じだった（重複）場合、
② 比較した下側の隣のＢ列同行を指定した文字列を抽出し、
③ 一つ上のＣ列（比較上側のC列）に②の値を追加
④ 但し、その一つ上のＣ列（比較上側のC列）が空白（NaN）でない場合はさらに横の比較上側のＤ列）に追加
⑤ そのＤ列（比較上側のＤ列）も空白（NaN）でない場合はさらに横の比較上側のＥ列）に追加
かなと考えております。
【現状】
del_list = []
for i in range(len(df)):
bf = i-1, 1
af = i, 1
add = df.iloc[i, 2]
if df.iat[bf] == df1.iat[af]:
df.iloc[i-1, 3] = add
del_list.append(i)
df.drop(del_list, inplace=True, errors='ignore')
print(df)
で、何とか①～③は出来たっぽいのですが
④⑤の記述がよくわかりません。
del_list = []
for i in range(len(df)):
bf = i-1, 1
af = i, 1
add = df.iloc[i, 2]
if df.iat[bf] == df.iat[af] and df1iloc[i-1, 3] == np.nan:
df.iloc[i-1, 3] = add
de_list.append(i)
df.drop(del_list, inplace=True, errors='ignore')
print(df)
だとSyntaxError: invalid syntaxになってしまい。
np.nan(NaN)が原因なのか and が原因なのかもわからない状態です。
回答4件
0
ベストアンサー
おはようございます。
お店関連の事務処理の自動化のために、pandas利用されていたんですね。少しでも改善されようとしてて素敵です。
問題文読ませていただきました。
以下の手順でご確認いただけますか？????♂️
Q&Acd {{path_to}}/pandas-sample-masterコマンドを利用する。)python main.pyを実行する。<ファイル構成の説明>
・main.py : csvファイル(sample.csv)を読み込んで、csvファイル(output.csv)を書き出すPythonファイルです。
・sample.csv : 読み込み用csvサンプルです。
・output.csv : 書き込み用csvサンプルです。
投稿2021/05/06 22:33
退会済みユーザー
総合スコア0
0
こういう、同じものでまとめて処理したいときはgroupbyを使うのが良いです。
今回の場合、いったんlistでまとめて、それをDataFrameに展開するとできます。
python
1# Aが同じBをlistでまとめる 2x = df.groupby('A', sort=False)['B'].apply(list) 3# DataFrame化 4df2 = pd.DataFrame(x.to_list(), index=x.index) 5# 整形 6df3 = df2.reset_index() 7df3.columns = ['A', 'B', 'C', 'D', 'E']
投稿2021/05/06 23:55
総合スコア4794
0
店の名前順は変わっていますが、以下で一応できています。
python
1>>> print(df) 2 Ａ Ｂ Ｃ Ｄ Ｅ 30 本 店 りんご NaN NaN NaN 41 本 店 バナナ NaN NaN NaN 52 本 店 みかん NaN NaN NaN 63 本 店 いちご NaN NaN NaN 74 芦屋店 バナナ NaN NaN NaN 85 西宮店 りんご NaN NaN NaN 96 西宮店 バナナ NaN NaN NaN 107 尼崎店 りんご NaN NaN NaN 118 三宮店 りんご NaN NaN NaN 129 三宮店 バナナ NaN NaN NaN 1310 三宮店 みかん NaN NaN NaN 14>>> count_dict = {} 15>>> def column_name(row): 16... if row['Ａ'] in count_dict: 17... count = count_dict[row['Ａ']] 18... else: 19... count = 0 20... count_dict[row['Ａ']] = count + 1 21... return count 22... 23>>> df_temp = df.drop(['Ｃ', 'Ｄ', 'Ｅ'], axis=1).rename(columns={'Ｂ': '商品'}) 24>>> 25>>> df_temp['列名'] = df_temp.apply(column_name, axis=1) 26>>> 27>>> df_result = df_temp.pivot(index='Ａ', columns='列名').reset_index() 28>>> df_result.columns = ['Ａ', 'Ｂ', 'Ｃ', 'Ｄ', 'Ｅ'] 29>>> print(df_result) 30 Ａ Ｂ Ｃ Ｄ Ｅ 310 三宮店 りんご バナナ みかん NaN 321 尼崎店 りんご NaN NaN NaN 332 本 店 りんご バナナ みかん いちご 343 芦屋店 バナナ NaN NaN NaN 354 西宮店 りんご バナナ NaN NaN
投稿2021/05/06 23:29
総合スコア24670
0
Pythonを使った方法ではありませんが、エクセルのピボットテーブルを活用すればミスなく作業可能かと思います。
＜元データ＞
＜ピボットテーブルで加工＞
＜置換処理等で1を商品名に変更＞
＜商品名を左詰めにする＞
投稿2021/05/06 17:07
総合スコア10762
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2021/05/07 22:29 編集
退会済みユーザー
2021/05/07 23:36 編集
2021/05/08 07:46