pandasの２つのdataframeの要素同士の一部が一致する列の抽出

Question

pandasで元のリスト(cate_list)から1列目のカテゴリ内で３列目が最も大きい行を抽出し,新しいdataframe(cate_after)を作りました。形式はcsvから読み込んだdataframeです。

例cate_list
[列]name_kana, cate,count
[' アップルパーク', 'ブロック・パズル・ゲーム', '1'],
 [' アップルパーク', 'ガラガラ・ラトル', '7'],
 [' アップルパーク', '子供用パジャマ・ルームウェア・スリーパー', '3'],
 [' アップルパーク', 'ファッション雑貨・小物その他', '1'],
 [' アップルパーク', 'おもちゃ・知育玩具その他', '12'],
 [' アップルパーク', 'おもちゃ・知育グッズ', '30'],

これは本来1列(nama_kana)のカテゴリが複数ある中で、3列め(count)中で数が最も多いもののdataframe(cate_after)に変換したものです。

コード

cate_after
[' アップルパーク', '30'],
 [' シースリーフィット', '2'],
 ['100パーセントピュア', '38'],
 ['10クロスビーデレクラム', '34'],
 ['1789カーラ', '18'],
 ['23イヤーズオールド', '7'],
 ['24カラッツ・サーフ', '386'],
,,,,,,,

変換コード
od = OrderedDict()
for index,i in cate_list.iterrows():
    od.setdefault(i['name_kana'],[]).append(i['count'])

cate=[]
for key,value in od.items():
    cate.append([key,max(value)])

ここでdataframeのcate_afterに元のdataframeの２列目の'cate'を追加したいのですが、うまく行きません。

つまりcate_afterの１列目と3列目に一致するcate_listの２列目の'cate'を加えたdataframeを作りたいということです。

dataframeに以下のコードでもうまく行きません。

arr=[]
for index, v in cate_list.iterrows():
    for d,c in cate_after.iterrows():
        if v{'name_kana'}==c['name_kana'] and v['count']==c['count']:
             arr.append(v['name_kana'],v['cate'],v['count'])

このようなあるdataframeともう一つのdataframeの要素の一部が共通している列を抜き出す方法を教えてください

Answer 1

それなら最初から3列のdfにした方が手っ取り早いのでは？　って気が。pandas使うコードは個人的にあまり上手く書けないのですが、だいたいこんな感じで。

• sample_data.csv

hoge,h,1
hoge,o,2
hoge,g,4
hoge,e,8
fuga,fu,16
fuga,fg,32
fuga,fa,64
fuga,ug,128
fuga,ua,256
fuga,ga,512
piyo,piy,1024
piyo,pio,2048
piyo,pyo,4096
piyo,iyo,8192

import pandas as pd

df = pd.read_csv("sample_data.csv", header=None)
print("initial df")
print(df)

first_index = set(df[0])

slist = []
for first in first_index:
    group = df[df[0] == first]
    slist.append(group.loc[group[2].idxmax()])

result_df = pd.DataFrame(slist).reset_index(drop=True)

print("\nresult df")
print(result_df)
"""出力
initial df
       0    1     2
0   hoge    h     1
1   hoge    o     2
2   hoge    g     4
3   hoge    e     8
4   fuga   fu    16
5   fuga   fg    32
6   fuga   fa    64
7   fuga   ug   128
8   fuga   ua   256
9   fuga   ga   512
10  piyo  piy  1024
11  piyo  pio  2048
12  piyo  pyo  4096
13  piyo  iyo  8192

result df
      0    1     2
0  fuga   ga   512
1  hoge    e     8
2  piyo  iyo  8192
"""

あとは2列にしたければ差っ引くなり、どうにでも料理できるでしょう。

Comments

[trafalbad]

できました、ありがとうございます！
setだと順番が崩れてしまうので
http://publicjournal.hatenablog.com/entry/2017/10/08/113544
ここも参考にしました