pandasを高速化したいです

Question

import pandas as pd    
df = pd.DataFrame()         
df["column"] = [["a", "c", "e"], ["b"], ["c", "e"], ["a", "e"], ["a", "b", "c"]]    
df.head()   

>>       column
0  [a, c, e]
1        [b]
2     [c, e]
3     [a, e]
4  [a, b, c]     

のようなデータフレームがあるとします。

<やりたいこと>
columnの取りうる値全てに対して、それぞれ各行に対してバイナリーの変数に変換したいです。
つまり
|a|b|c|d|e|
|:--:|:--:|--:|
|1|0|1|0|1|
|0|1|0|0|0|
|0|0|1|0|1|
|1|0|0|0|1|
|1|1|1|0|0|

を得たいです。

<試したこと>
uniqは取りうる値を格納しています。

for col in uniq:
    df[col] = 0

    for i in range(len(df)):
        if col in df.loc[i, "column"]:
            df.loc[i, col] = 1 
        else:
            df.loc[i, col] = 0
    

<解決したいこと>

実際に扱っているデータフレームは三万行くらいで、取りうる値は10個くらいであり、
かなり遅いです。
実際にはこの操作を複数回行う必要があり、上の操作を高速化する必要があります。
お力添えいただけないでしょうか？

Answer 1

コードは汚いですがcolumnの各文字列を数値化してnumpyでフラグ配列化すると速いです。
参考：Convert integer to binary array with suitable padding

import pandas as pd
import random
import numpy as np

# テストデータ
CHARS = 'abcdefghij' # 'abc'など
N = 30000 # 5など
lst = []
for i in range(N):
    lst.append(random.sample(CHARS,random.randint(1,len(CHARS))))
df = pd.DataFrame({"column":lst})

# テストデータ
df = pd.DataFrame({"column":[["a", "c", "e"], ["b"], ["c", "e"], ["a", "e"], ["a", "b", "c"]]})
print(df)

#
# ['b','a','c] -> 1+2+4 = 7
# ['a'] -> 2 = 2
# のように文字列の出現順に数値化
#
txt2bin = {} # 'a'-> 2 など
bin = 1
def f(l):
    global bin
    n = 0
    for c in l:
        if c not in txt2bin:
            txt2bin[c] = bin
            bin <<= 1
        n += txt2bin[c]
    return n

a = df['column'].apply(f).values

# 数値->フラグ配列化
b = (((a[:,None] & (1 << np.arange(len(txt2bin))))) > 0).astype(int)

# フラグ配列の並び順に列名を並べる
columns = sorted(txt2bin.items(), key=lambda e:e[1])
columns = [ v[0] for v in columns]

ret = pd.DataFrame(b, columns=columns)

# 列名を昇順に
ret = ret.loc[:,sorted(columns)]
print(ret)
"""
   a  b  c  e
0  1  0  1  1
1  0  1  0  0
2  0  0  1  1
3  1  0  0  1
4  1  1  1  0
"""

Comments

[siruku6]

きっと早いのだと思いますが、あとあと修正するかもしれないことを考えると、この方法を使用する決断はしにくいですね。
でも非常に勉強になります。

[8524ba23]

実際に速いです。修正内容にもよるかと思うので採用できないのは残念ですが
100万行でもほぼ一瞬なので速度面ではメリットあるかと思います。

[siruku6]

本当に速度が重要なシステムだったら、多少可読性を犠牲にしてでもこういった方法を使用した方がいいのでしょうね。

ベストアンサーの回答も相当早そうなので、もし必要になったら実際の要件に従って実装して、速度比較ですね。

Answer 2

ループなし、ワンライナーで書いてみました。
やってることは

1. リストをセルに分割
2. stack() で縦に並べ替え
3. pandas.get_dummies()でOne-Hot化
4. 元のIndex番号同志で結合（sum()）

です

import pandas as pd
df = pd.DataFrame({"column":[["a", "c", "e"], ["b"], ["c", "e"], ["a", "e"], ["a", "b", "c"]]})
ret = pd.get_dummies(df['column'].apply(pd.Series).stack()).groupby(level=0).apply(sum)
#   a  b  c  e
#0  1  0  1  1
#1  0  1  0  0
#2  0  0  1  1
#3  1  0  0  1
#4  1  1  1  0

Comments

[siruku6]

このやり方の方が圧倒的に早いですね！
何万行あってもすぐに終わるのではないでしょうか、、

[nouken]

10秒ほどでいけました。ありがとうございました〜

Answer 3

dataframeをfor文の中で使用すると死ぬほど遅いです。
吐き気がするほどに。

ですので、どうしてもloop処理したいのであれば、辞書型などに変換してしまうのがおすすめです。
（可読性は下がりますが...）

import pandas as pd

# データの準備
df = pd.DataFrame()         
df["column"] = [["a", "c", "e"], ["b"], ["c", "e"], ["a", "e"], ["a", "b", "c"]]    
uniq = ['a', 'b', 'c', 'd', 'e']

# メインのloop処理
dict_results = []
for items in df.to_dict()['column'].values():
    tmp_dict_result = {'a': 0, 'b': 0, 'c': 0, 'd': 0, 'e': 0}
    for col in uniq:
        if col in items:
            tmp_dict_result[col] = 1 
    dict_results.append(tmp_dict_result)

pd.DataFrame.from_dict(dict_results)

ただし、numpy配列化すればベクトル演算ができるので、もっと高速にできるかもしれません。
誰か知ってませんかね....（私も知りたいです）

Answer 4

バイナリが良くわからないので会っているか分かりませんが

df.astype(bytes)

型の変換だけならこうだと思います

Comments

[nouken]

すみません、型の変換ではなく、元の変数を上にあるように、0,1の変数に変換したいということです。文脈としては機械学習の前処理になります。

[退会済みユーザー]

df.astype(bool)
df.astype(int)
多分違いますが
これでも01にできますよ

[nouken]

ありがとうございます。上の例のように、元の変数がリストなのです。。。

[退会済みユーザー]

そうですか
理解不足ですいません

あまり扱わない形式なので
わかんないかもです