処理を高速化するため、内包表記の仕方を教えていただきたいです。

Question

for if文を使うよりも、内包表記のほうが処理時間が高速であるようなので、
下記のdf1、df2のデータフレームを使って、df2の直交部を置き換えるコードを、内包表記で書きたいのですが、書き方を教えていただきたいです。（今回のデータフレーム例ですが、実際はもっとデータ行列数が多く、少しでも計算時間を短くしたいです）

df1 = pd.DataFrame(data={0: ['A','B','C'],1: ['a','b','a'],2: ['+','-','+']})

　　　　0	1	2
0	A	a	+
1	B	b	-
2	C	a	+

df2 = pd.DataFrame(data={0: [np.nan,'A','B','C'],1: ['a',1,np.nan,1],2:['b',np.nan,-1,np.nan],3:['f',np.nan,np.nan,-1]})

　　　　0	1	2	3
0	NaN	a	b	f
1	A	1	NaN	NaN
2	B	NaN	-1	NaN
3	C	1	NaN	-1

for i in range(len(df1.index)) :
    for j in range(1,len(df2.index)) :
        for k in range(1,len(df2.columns)) :
            if df1[0][i] == df2[0][j] :
                if df1[1][i] == df2[k][0] :
                    df2[k][j] = df1[2][i]

df2.head()

        0	1	2	3
0	NaN	a	b	f
1	A	+	NaN	NaN
2	B	NaN	-	NaN
3	C	+	NaN	-1

Comments

[ppaul]

for if文を使うよりも、内包表記のほうが処理時間が高速であるようなので、
とのことですが、内包表記では処理時間は速くなりません。
高速化したいなら、他のことを勉強することをお勧めします。

[matsutai]

ご指摘ありがとうございます。
勉強のために、質問させていただいたコードの内包表記の仕方を教えていた抱けますでしょうか。
よろしくお願いします。

[退会済みユーザー]

答えではないのでコメント欄に…

確かに内包表記のカスケードで"いくらかは"早くなるとは思います。
# https://www.geeksforgeeks.org/nested-list-comprehensions-in-python/
が、デメリットが大きいです
1. 可読性が大変なことになる（慣れ次第？）
2. その結果、あとから書き換えようとすると涙目に（経験あり）

個人的にはnumbaがおすすめです。from numba import jitのやつです。
dataframeは使えない、一部のNumpyの関数は対象外など制限はありますが、
生のPythonで三重、四重になったforのカスケードをぶん回すよりは格段に速いです。
10倍高速化はザラにありますし、100倍、1000倍高速化もあり得る話です。
https://qiita.com/ryo_naka/items/6d6a575d0c47bb792f71

[lehshell]

リストの内包表記は、リスト生成の構文です。
ご提示のコードはすでに存在する df2 リストの要素を更新するものです。
もし内包表記が使用できても、無駄に使用しないリストを生成するため処理時間は遅くなるのでは？

Answer 1

ご質問の回答にはなっていないかもしれませんが、こういう場合にはdf2のindexを'A', 'B', 'C', ...のようにし、columnsを'a', 'b', 'c', ...のようにして処理するのが簡明で性能も上がるでしょう。

>>> print(df1)
   0  1  2
0  A  a  +
1  B  b  -
2  C  a  +
>>> print(df2)
     a    b    f
A    1  NaN  NaN
B  NaN   -1  NaN
C    1  NaN   -1
>>> for row in df1.itertuples():
...     df2.at[row[1], row[2]] = row[3]
...
>>> print(df2)
     a    b    f
A    +  NaN  NaN
B  NaN    -  NaN
C    +  NaN   -1

df2の元となるデータが例えばDF2.csvに格納されていて、

,a,b,f
A,1,,
B,,-1,
C,1,,-1

のようになっていたとすると、

df2 = pd.read_csv('DF2.csv', index_col=0, dtype=object)

で読み込めば

>>> print(df2)
     a    b    f
A    1  NaN  NaN
B  NaN   -1  NaN
C    1  NaN   -1

となります。