pandas(series)の条件置換の速度について

Question

df["名前"]とdf["年齢"]の列を持つ100万行くらいのDataframeがあります.それぞれの型はstrとintです.
このうち10件程度の年齢がnanになっているのですが,それを修正するための名前=年齢の対応表があるので条件一致で置き換えようと思いました.
最終的に年齢の一次元リスト(通常のものでもnumpyでも構わない)を得ることが目的です.
※同姓同名で片方の年齢だけnanというデータが存在します.

---

ひとつひとつ置換してからリスト化してみる

df.loc[(df["名前"]=="1番目太郎")&(df["年齢"]!=df["年齢"]),"年齢"]=20
df.loc[(df["名前"]=="2番目花子")&(df["年齢"]!=df["年齢"]),"年齢"]=25
#中略
df.loc[(df["名前"]=="10番目の人")&(df["年齢"]!=df["年齢"]),"年齢"]=70
years=list(df["年齢"]
#リスト化に内包表記を使っても速度はほとんど変わらなかった

なんか遅かったのでisnullしてみたけど速度がほとんど変わらなかったやつ

nulls=df["年齢"].isnull()
df["nulls"]=nulls
df.loc[(df["名前"]=="1番目太郎")&(df["nulls"]==True),"年齢"]=20
#中略

---

内包表記内に三項演算子10連鎖するやつ

years=[df["年齢"].iloc[i] if df["年齢"].iloc[i]==df["年齢"].iloc[i] else
                      20 if df["名前"].iloc[i]=="なんとか太郎" else
                      25 if df["名前"].iloc[i]=="かんとか花子" else
                      70 for i in range(len(df))]#中略

---

前者のコードだとだいたい20秒,後者のコードだと10秒切るくらいでした
できるだけループしないプログラムの書き方がナウいし速いというようなことをちらっと聞いたのですが
A列のnanをB列の条件で任意値に置換したい場合,普通はどうやるもんなんでしょうか.

あと,この例は10件の置き換えなんですが,これが100件の置換とかだったら内包表記の方法もちょっとしんどいかなあと思うのですが
そのときはこうする,というのもお答えいただけると大変参考になります
よろしくお願いします

Comments

[退会済みユーザー]

pandasのパフォーマンス最適化に関するものは英語版のStackOverflowで質問するといい答えが見つかるかもしれません。少しハードルが高いかもしれませんが、ご参考までに。

[drken35]

なるほど…google翻訳使いながらならドキュメントを読める程度の英語力しかないので，google翻訳がもう少し進化するまで待つことにします．アドバイスありがとうございました

Answer 1

極力、DataFrame に対する比較・選択・射影が少なくなるように実装してみてはどうでしょうか。

import pandas as pd

df = pd.DataFrame({'名前': list('ABCDEFGHIJ'),
                   '年齢': [None, 41, None, 25, 37, None, None, 39, None, 17]})
print(df)
#   名前  年齢
# 0    A   NaN
# 1    B  41.0
# 2    C   NaN
# 3    D  25.0
# 4    E  37.0
# 5    F   NaN
# 6    G   NaN
# 7    H  39.0
# 8    I   NaN
# 9    J  17.0

# 対応表
age_map = {'A': 22, 'C': 11, 'F': 33, 'G': 44, 'I': 55}

mask = df['年齢'].isnull()
ages = [age_map[name] for name in df.loc[mask, '名前']]

df.loc[mask, '年齢'] = ages

print(df)
#   名前  年齢
# 0    A  22.0
# 1    B  41.0
# 2    C  11.0
# 3    D  25.0
# 4    E  37.0
# 5    F  33.0
# 6    G  44.0
# 7    H  39.0
# 8    I  55.0
# 9    J  17.0

# numpy.ndarray
array = df['年齢'].values

Comments

[drken35]

なるほど，isnull()で取得した真偽seriesでシンプルにマスクをかける方法を知らなかったので，非常に勉強になりました．
また速度的にも一番速かったです．どうもありがとうございました

Answer 2

(1) 年齢列にある10件分のnanを，名前列を参照してそれぞれ指定値で埋める
名前=年齢表は元のdataframeとは別の形式ですか？
その辺があまりピンときていないのでとりあえず
名前=年齢表が元データと異なるdict形式({'太郎':25,...})という想定で書いてみます。違ってたらすみません。
apply使っているのでそこまで早いわけではないです。

def fill_age(cell):
  if cell["年齢"]!=cell["年齢"]: cell["年齢"] = dict_name_age[cell["名前"]]
  return cell

df["年齢"] = df.apply(lambda x: fill_age(x))

それより早くするならnp.vecterize使うか
http://sinhrks.hatenablog.com/entry/2015/07/11/223124

別に名前=年齢表のデータフレーム作って一回元の表にouter joinして、pandasのwhereでnullの部分だけjoinした年齢表に置き換えるとかでしょうか。
このデータ数ならそこまでやる必要ないとは思いますが...

(2) 100万件の年齢列を一次元のリストに変換する

years = df["年齢"].values

的を得ない感じですみません。参考になれば幸いです。

Comments

[drken35]

いえいえ，様々な方法を提示していただいて，どれも自分では思いつかないものであり，勉強になりました．
今回はちょっと上手く前提条件を伝えられなかったせいもあってアレなんですが
とても助かりました．また機会があれば色々と教えてください．

Answer 3

名前と年齢の紐付けは不要ですよね？
「年齢の一次元リスト」でよろしいのでしたら

years = df["年齢"].unique()

とかでいけないでしょうか。もし他の年齢表と付け合わせて年齢のユニークなリストが取りたければ

list(set(list(df["年齢"].unique())+list_other))

としても取り出せます。

速度はちょっと分からないのですが、少なくとも年齢にだけ絞ればその分早くなるかとは思います。

Comments

[drken35]

質問の書き方が分かりづらかったみたいで，もうしわけありません．
(1) 年齢列にある10件分のnanを，名前列を参照してそれぞれ指定値で埋める
(2) 100万件の年齢列を一次元のリストに変換する
というのが，やりたかったことでした．

[sh-tatsuno]

ミスって別の回答部分に載せてしまいました。ご確認頂ければと思います。