カラムの値がNaNかどうかを判定した結果を、機械学習モデルに学習させたい

Question

###実現したい事
およそ25列の特徴量 * 5万行のcsvファイルがあり、このデータを用いて回帰の機械学習モデルを作成しています。（例として下記のようなファイルです）

No,name,message,...,score
1,bob,hello,...,80
2,taro,,...,67
3,keiko,how are you,...,77
:
:
50000,kai,,...,59

この"message"というカラムを特徴量として利用したいと考えています。
"message"がNaNであれば0、何かしら文字列が格納されていれば1を返す関数を"message"カラムに適用し、その結果を新たなカラム"messageX"に格納して、これをモデルに学習させたいのですが、エラーが出るなどしてうまくいきません。

import pandas as pd  
import numpy as np

prof = pd.read_csv("prof.csv")

def judge(x):
    if prof["message"] == 'NaN':
        return 0
    else:
        return 1

prof["messageX"] = prof["message"].apply(lambda x: judge(x))


ValueError       Traceback (most recent call last)
<ipython-input-109-2ee4dfdbc177> in <module>
----> 1 prof["messageX"] = prof["message"].apply(lambda x: judge(x))
:
:
ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

もしこの方法が不可能であれば別の手段でもいいのですが、このような特徴量をうまく活用する方法をご存知の方がいらっしゃいましたら、アドバイスいただけますと幸いです。プログラミング初心者のため、コーディングにおかしな所があるかもしれません。

###試した事
関数の判定がカラムの個別の要素ではなく、カラム全体に及んでいるからエラーになる、というような記事を見つけたので下記のようなコードを試しましたがエラーになりました。

def judge(x):
    for i in len(prof):
        if prof["message"][i].any() == 'NaN':
            return 0
        else:
            return 1

prof["messageX"] = prof["message"].apply(lambda x: judge(x))


ValueError       Traceback (most recent call last)
<ipython-input-109-2ee4dfdbc177> in <module>
----> 1 prof["messageX"] = prof["message"].apply(lambda x: judge(x))
:
:
TypeError: 'int' object is not iterable

他にもfillna()で欠損値を埋めてからコードを実行したら全て「1」になってしまったり、関数の判定部分を「if prof["message"] == '':」としてみたりしたのですが、うまくいきませんでした。

###利用環境
anaconda3
python3.8

Answer 1

以下です。

df['messageX'] = 1 - df['message'].isnull()

実行結果

>>> print(df)
      No   name      message  ...  score
0      1    bob        hello  ...     80
1      2   taro          NaN  ...     67
2      3  keiko  how are you  ...     77
3  50000    kai          NaN  ...     59
>>> df['messageX'] = 1 - df['message'].isnull()
>>> print(df)
      No   name      message  ...  score  messageX
0      1    bob        hello  ...     80         1
1      2   taro          NaN  ...     67         0
2      3  keiko  how are you  ...     77         1
3  50000    kai          NaN  ...     59         0

Comments

[massan3]

ありがとうございます！上手くいきました。