データの要素を重複なしで配列化する

Question

現在、kaggleの

https://www.kaggle.com/c/whats-cooking-kernels-only/overview

のコンペでpythonを練習しています。

そこで、データ列"ingredients"で材料の種類をまとめた配列を作成しようとしています。

"ingredients"にはさまざまな材料が配列の中に含まれています。
そこで、"ingredients"内のデータの種類を重複なしで取り出すことはどのようにすればよいでしょうか。

私の案としては

#①配列要素をすべて足す。
all = train["indredients].sum()
#値をカウントすして、その列を取得する
ingredients_array = all.value_counts().columns

です。できるとは思うのですが、データ数が多く、かなり時間がかかってしまいます。
そこで何かライブラリを使った方法やもっと時間短縮可能な方法を教えていただけたらと思います。
宜しくお願いします。

Answer 1

1. apply() で pd.Series() を train['ingredients'] の各要素に適用し、リストを Series に変換する。
2. stack() で結合する。
3. value_counts() で集計する。

import pandas as pd

train = pd.read_json('train.json')

ingredients = train['ingredients'].apply(pd.Series).stack().value_counts()
print(ingredients)

salt                             18049
onions                            7972
olive oil                         7972
water                             7457
garlic                            7380
sugar                             6434
garlic cloves                     6237
butter                            4848
                                 ...  
cooked beetroot                      1
raspberry juice                      1
arak                                 1
garlic herb spreadable cheese        1
saki                                 1
shank half                           1
Length: 6714, dtype: int64

こちらの環境では、データ読み込み ～ 集計までの処理をあわせて 10.7 秒かかりました。

別解

pandas を絡めると遅くなるので、データフレームにこだわらないのであれば、標準ライブラリを使って以下のように集計することもできます。
こちらのほうが10倍高速です。

import json
from collections import Counter

with open('train.json') as f:
    train = json.load(f)

# 1次元配列にする。
ingredients = [item for sample in train for item in sample['ingredients']]

# 集計する。
cnt = Counter(ingredients).items()
# ---- ここまでの処理で 952 ms 秒

for key, value in cnt:
    print(key, value)

Comments

[tootootoo]

なるほど。とても参考になります。とてもスムーズに処理し終わりました。
誠にありがとうございます。