トップに関する質問 Python pandas CSV のデータ加工につきまして、

編集履歴

質問編集履歴

少し編集

2021/05/06 18:51

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -202,7 +202,7 @@
-  if df1.iat[bf] == df.iat[af] and df1iloc[i-1, 3] == np.nan:
+  if df.iat[bf] == df.iat[af] and df1iloc[i-1, 3] == np.nan:
     df.iloc[i-1, 3] = add
@@ -212,7 +212,7 @@
-df1.drop(del_list, inplace=True, errors='ignore')
+df.drop(del_list, inplace=True, errors='ignore')
 print(df)

少し編集

2021/05/06 18:51

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -190,23 +190,23 @@
 del_list = []
-for i in range(len(df1)):
+for i in range(len(df)):
   bf = i-1, 1
   af = i, 1
-  add = df1.iloc[i, 2]
+  add = df.iloc[i, 2]
-  if df1.iat[bf] == df1.iat[af] and df1.iloc[i-1, 3] == np.nan:
+  if df1.iat[bf] == df.iat[af] and df1iloc[i-1, 3] == np.nan:
-    df1.iloc[i-1, 3] = add
+    df.iloc[i-1, 3] = add
-    del_list.append(i)
+    de_list.append(i)
@@ -214,7 +214,7 @@
 df1.drop(del_list, inplace=True, errors='ignore')
-print(df1)
+print(df)

少し編集

2021/05/06 18:50

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -178,7 +178,7 @@
 で、何とか①～③は出来たっぽいのですが
-①⑤の記述がよくわかりません。
+④⑤の記述がよくわかりません。

現状

2021/05/06 18:49

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -138,39 +138,9 @@
-しかし現状の私のスキルでは、
-mig = df1.iat[2, 2]
-df1.iat[4+1, 2] = mig
-if df.iat[i,1] == df.iat[i-1,1]:
-など比較はなんとなくわかるレベルです...
-現状で代入して行列を指定して文字をコピー追加する程度しか出来ていません..
-①～⑤で何か良いヒントや参考になりそうな文献はないものでしょうか？
-また根本的に①～⑤で考え方が間違っている部分があるようならご指摘も受けたいです。
-宜しくお願い致します。
-【追記】
+【現状】
@@ -200,6 +170,12 @@
 で、何とか①～③は出来たっぽいのですが
 ①⑤の記述がよくわかりません。
@@ -210,6 +186,8 @@
 del_list = []
 for i in range(len(df1)):
@@ -242,4 +220,4 @@
 だとSyntaxError: invalid syntaxになってしまい。
-np.nan(NaN)が原因なのか　and が原因なのかもわからない状態です
+np.nan(NaN)が原因なのか　and が原因なのかもわからない状態です。

変更

2021/05/06 18:48

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -172,66 +172,74 @@
 【追記】
-④⑤は① ～③をまず自己解決してelse:を調べてみようと思っており
-まず① ～③を自己解決しようと必死なのですが
+del_list = []
 for i in range(len(df)):
-bf = i-1, 1
+  bf = i-1, 1
-af = i, 1
+  af = i, 1
+  add = df.iloc[i, 2]
-if df.iat[bf] == df.iat[af]:
+  if df.iat[bf] == df1.iat[af]:
+    df.iloc[i-1, 3] = add
+    del_list.append(i)
+df.drop(del_list, inplace=True, errors='ignore')
 print(df)
-では、何とか処理できているようで、
+で、何とか①～③は出来たっぽいのですが
-重複した数の行数だけループでdfが表示されました。
-比較処理が出来ていると思われます。
+①⑤の記述がよくわかりません。
-しかし、
+del_list = []
-for i in range(len(df)):
+for i in range(len(df1)):
-bf = i-1, 1
+  bf = i-1, 1
-af = i, 1
+  af = i, 1
-add = i-1,2　#追加したい文字の場所
+  add = df1.iloc[i, 2]
-if df.iat[bf] == df.iat[af]:
+  if df1.iat[bf] == df1.iat[af] and df1.iloc[i-1, 3] == np.nan:
-df.iloc[i-1, 3] = add　#追加したい場所を指定して追加
+    df1.iloc[i-1, 3] = add
+    del_list.append(i)
+df1.drop(del_list, inplace=True, errors='ignore')
-print(df)
+print(df1)
-では
-ValueError: Must have equal len keys and value when setting with an iterable
-が出てしまいます。
-df.iloc[i-1, 3] = "add"
-print(df)
-だと"add"の文字が指定した場所に入るので、値だと反映されないのでしょうか？
+だとSyntaxError: invalid syntaxになってしまい。
+np.nan(NaN)が原因なのか　and が原因なのかもわからない状態です

少し編集

2021/05/06 18:47

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -212,7 +212,7 @@
 if df.iat[bf] == df.iat[af]:
-df.iat[i-1, 3] = add　#追加したい場所を指定して追加
+df.iloc[i-1, 3] = add　#追加したい場所を指定して追加
@@ -228,7 +228,7 @@
-df.iat[i-1, 3] = "add"
+df.iloc[i-1, 3] = "add"
 print(df)

さらに追記

2021/05/06 17:09

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -225,3 +225,13 @@
 ValueError: Must have equal len keys and value when setting with an iterable
 が出てしまいます。
+df.iat[i-1, 3] = "add"
+print(df)
+だと"add"の文字が指定した場所に入るので、値だと反映されないのでしょうか？

少し編集

2021/05/06 17:06

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -150,11 +150,11 @@
 if df.iat[i,1] == df.iat[i-1,1]:
-など比較はなんとなくわかるレベルです天...
+など比較はなんとなくわかるレベルです...
-などの代入して行列を指定して文字をコピー追加する程度しか出来ていません..
+現状で代入して行列を指定して文字をコピー追加する程度しか出来ていません..
 ①～⑤で何か良いヒントや参考になりそうな文献はないものでしょうか？

追記しました

2021/05/06 16:42

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -172,7 +172,9 @@
 【追記】
+④⑤は① ～③をまず自己解決してelse:を調べてみようと思っており
-① ～③を自己解決しようと必死なのですが
+まず① ～③を自己解決しようと必死なのですが

追記編集

2021/05/06 16:41

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -182,8 +182,6 @@
 af = i, 1
-add = i-1,2
 if df.iat[bf] == df.iat[af]:
 print(df)
@@ -208,13 +206,11 @@
 af = i, 1
-add = i-1,2
+add = i-1,2　#追加したい文字の場所
 if df.iat[bf] == df.iat[af]:
-df.iloc[i-1, 3] = add
+df.iat[i-1, 3] = add　#追加したい場所を指定して追加

追記

2021/05/06 16:38

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -186,9 +186,39 @@
 if df.iat[bf] == df.iat[af]:
+print(df)
+では、何とか処理できているようで、
+重複した数の行数だけループでdfが表示されました。
+比較処理が出来ていると思われます。
+しかし、
+for i in range(len(df)):
+bf = i-1, 1
+af = i, 1
+add = i-1,2
+if df.iat[bf] == df.iat[af]:
 df.iloc[i-1, 3] = add
-print(df1)
+print(df)
@@ -197,13 +227,3 @@
 ValueError: Must have equal len keys and value when setting with an iterable
 が出てしまいます。
-ValueError: Must have equal len keys and value when setting with an iterable
-で調べるとSeriesを作成
-https://yolo.love/pandas/series/#1_Series
-という文献が出てきたのですが、
-このまま進んでよいものか迷っています。

少し編集

2021/05/06 16:36

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -176,7 +176,7 @@
-for i in range(len(df1)):
+for i in range(len(df)):
 bf = i-1, 1
@@ -184,9 +184,9 @@
 add = i-1,2
-if df1.iat[bf] == df1.iat[af]:
+if df.iat[bf] == df.iat[af]:
-df1.iloc[i-1, 3] = add
+df.iloc[i-1, 3] = add
 print(df1)

追記しました

2021/05/06 16:27

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -163,3 +163,47 @@
 宜しくお願い致します。
+【追記】
+① ～③を自己解決しようと必死なのですが
+for i in range(len(df1)):
+bf = i-1, 1
+af = i, 1
+add = i-1,2
+if df1.iat[bf] == df1.iat[af]:
+df1.iloc[i-1, 3] = add
+print(df1)
+では
+ValueError: Must have equal len keys and value when setting with an iterable
+が出てしまいます。
+ValueError: Must have equal len keys and value when setting with an iterable
+で調べるとSeriesを作成
+https://yolo.love/pandas/series/#1_Series
+という文献が出てきたのですが、
+このまま進んでよいものか迷っています。

if df.iat[i,1] == df.iat[i-1,1]:　追加

2021/05/06 16:25

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -148,6 +148,12 @@
+if df.iat[i,1] == df.iat[i-1,1]:
+など比較はなんとなくわかるレベルです天...
 などの代入して行列を指定して文字をコピー追加する程度しか出来ていません..
 ①～⑤で何か良いヒントや参考になりそうな文献はないものでしょうか？

NaNを空白（NaN）に変更

2021/05/06 15:50

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -128,9 +128,9 @@
 ③ 一つ上のＣ列（比較上側のC列）に②の値を追加
-④ 但し、その一つ上のＣ列（比較上側のC列）がNaNでない場合はさらに横の比較上側のＤ列）に追加
+④ 但し、その一つ上のＣ列（比較上側のC列）が空白（NaN）でない場合はさらに横の比較上側のＤ列）に追加
-⑤ そのＤ列（比較上側のＤ列）もNaNでない場合はさらに横の比較上側のＥ列）に追加
+⑤ そのＤ列（比較上側のＤ列）も空白（NaN）でない場合はさらに横の比較上側のＥ列）に追加

一部リンゴをバナナに変更

2021/05/06 15:24

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -28,7 +28,7 @@
 本　店  いちご
-芦屋店  りんご
+芦屋店  バナナ
 西宮店　りんご
@@ -60,7 +60,7 @@
 本　店  いちご
-芦屋店  りんご
+芦屋店  バナナ
 西宮店　りんご　バナナ
@@ -90,7 +90,7 @@
 本　店  りんご　バナナ  みかん　いちご
-芦屋店  りんご
+芦屋店  バナナ
 西宮店　りんご　バナナ

＃を入れると文字が大きくなってしまったため

2021/05/06 15:22

投稿

eqeqe

スコア15

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -6,7 +6,7 @@
 別のソフトに読み込ますときに【最終】の形にしないといけなくて
-今はエクセルで手動で置換＆行削除させていますがミスがあったりするので
+今はエクセルで手動で置換＆行削除していますがミスがあったりするので
 できれば自動化したいと思っています。
@@ -18,29 +18,29 @@
-# 　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ
+ 　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ
-# 本　店  りんご
+本　店  りんご
-# 本　店  バナナ
+本　店  バナナ
-# 本　店  みかん
+本　店  みかん
-# 本　店  いちご
+本　店  いちご
-# 芦屋店  りんご
+芦屋店  りんご
-# 西宮店　りんご
+西宮店　りんご
-# 西宮店  バナナ
+西宮店  バナナ
-# 尼崎店　りんご
+尼崎店　りんご
-# 三宮店　りんご
+三宮店　りんご
-# 三宮店　バナナ
+三宮店　バナナ
-# 三宮店　みかん
+三宮店　みかん
@@ -50,29 +50,29 @@
-# 　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ
+　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ
-# 本　店  りんご　バナナ  みかん　いちご
+本　店  りんご　バナナ  みかん　いちご
-# 本　店  バナナ
+本　店  バナナ
-# 本　店  みかん
+本　店  みかん
-# 本　店  いちご
+本　店  いちご
-# 芦屋店  りんご
+芦屋店  りんご
-# 西宮店　りんご　バナナ
+西宮店　りんご　バナナ
-# 西宮店  バナナ
+西宮店  バナナ
-# 尼崎店　りんご
+尼崎店　りんご
-# 三宮店　りんご　バナナ　みかん
+三宮店　りんご　バナナ　みかん
-# 三宮店　バナナ
+三宮店　バナナ
-# 三宮店　みかん
+三宮店　みかん
@@ -86,15 +86,15 @@
-# 　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ
+　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ
-# 本　店  りんご　バナナ  みかん　いちご
+本　店  りんご　バナナ  みかん　いちご
-# 芦屋店  りんご
+芦屋店  りんご
-# 西宮店　りんご　バナナ
+西宮店　りんご　バナナ
-# 三宮店　りんご　バナナ　みかん
+三宮店　りんご　バナナ　みかん