単語の羅列されたテキストデータから単語を抽出し、one hot 表現で出力させたい

Question

実行したいこと

input.csvの単語の羅列されたテキストデータdf["tag]から単語を抽出し、one hot 表現で出力させたいです。

例えば
id tag
1 a b c d e f
2 a d e
3 b c f g
: :
から
id tag a b c d e f g
1 a b c d e f 1 1 1 1 1 1 0
2 a d e 1 0 0 1 1 0 0
3 b c f g 0 1 1 0 0 1 1
: :
のように出力させたいです。

import pandas as pd
df = pd.read_csv("train_data3.csv", encoding="utf_8")

この続きからわかる方いらっしゃいましたら是非ともご教授よろしくお願いいたします。

Answer 1

pandas.Series.str.get_dummies — pandas documentation

In [7]: df
Out[7]:
   id          tag
0   1  a b c d e f
1   2        a d e
2   3      b c f g

In [8]: df['tag'].str.get_dummies(' ')
Out[8]:
   a  b  c  d  e  f  g
0  1  1  1  1  1  1  0
1  1  0  0  1  1  0  0
2  0  1  1  0  0  1  1

In [9]: pd.concat([df, df['tag'].str.get_dummies(' ')], axis=1)
Out[9]:
   id          tag  a  b  c  d  e  f  g
0   1  a b c d e f  1  1  1  1  1  1  0
1   2        a d e  1  0  0  1  1  0  0
2   3      b c f g  0  1  1  0  0  1  1

Answer 2

こういうのでできます。

s = set()
for t in df['tag']:
    s = s.union(set(list(t)))
try:
    s.remove(' ')
exceptKey Error:
    pass
for t in sorted(list(s)):
    df[t] = df['tag'].apply(lambda x: int(t in x))