ループ処理の高速化と最適化

前提・実現したいこと

２０１６年の約１５００軒の建物のエネルギー消費データがあり、そこから２０１７年と２０１８年の消費エネルギー予測をする問題です。まず初めに、２０１６年のデータをそのまま２０１７年と２０１８年にコピーしたいと考えました。具体的にtrain_5とtest_1のカラムの内、"building_id","meter","timestamp.1"の値がおお互いに全て一致していれば、train_5の"meter_reading"値をそのままtest_1の"meter_reading"に入れて欲しいという関数を書いています。しかし私が書いたコードはかなり実行が遅く、終了するのに1か月掛かる見込みとなりました。どうにか高速化できないでしょうか。よろしくお願いいたします。
![]

該当のソースコード

➀train_5_np=np.array(train_5)

➁test_1_np=np.array(test_1)

➂from tqdm import tqdm

➃@jit
def function():

　for i in tqdm(range(len(test_1_np))):
    　for j in (range(len(train_5_np))):
    
        　if test_1_np[i,4] == train_5_np[j,4]:
           　 if test_1_np[i,1]== train_5_np[j,0] and test_1_np[i,2]== train_5_np[j,1]:
                test_1_np[i,5]=train_5_np[j,3]
                break
    
        else :
            continue

試したこと

計算が遅すぎるため断念しました。
何か高速化する方法はないでしょうか。

補足情報（FW/ツールのバージョンなど）

meg_

2019/12/12 11:47

pandas.DataFrameで処理した方が良いような気がします。（可能な限りforループは使わずに列で処理します）また、環境が不明ですがデータ数が多い場合には複数コアで処理すると速くなります。

atom813

2019/12/12 12:00

興味を持っていただきありがとうございます！ DataFrameの型で行うと、処理が遅いと耳にしていたため、Numpyを使用しておりました。当方pythonの知識が浅いため、大変恐縮ですがどのようにforループを使わずに列で処理するのか、一例を教えていただけますと幸いです。

bsdfan

2019/12/12 13:29

building_idでソートされているなら、内側のループで毎回全部走査する必要はないのでは。

atom813

2019/12/13 07:22

ご回答ありがとうございます！私自身も内側のループで毎回全部走査する必要がないと思いましたが、どのように部分的だけに走査してもらえるコードを書けばよいのかわからず、断念しました。もしよろしければ、具体的なコードを教えていただけませんでしょうか。よろしくお願いいたします。

kabayan55

2019/12/13 09:11

質問内容とは関係なくて恐縮なのですが、kaggleの現行コンペのcodeシェアは原則禁止されています。ASHRAEコンペのRulesの "No private sharing outside teams" の箇所が該当部分です。コンペ終了前は、コンペのコードであることは伏せておいた方が良いかと思われますので、質問修正した方がいいかと思います。

atom813

2019/12/13 09:19

教えていただき、ありがとうございます！すぐ修正したいと思います。

行動規範の内容に同意します

回答1件

ベストアンサー

簡単な例です。
df1、df2はpandas.DataFrameです。

Python
1print(df1)
2#  c1 c2 c3   c4
3#0  a  b  c  100
4#1  d  e  f  200
5#2  g  h  i  300
6
7print(df2)
8#  c1 c2 c3
9#0  a  b  c
10#1  d  e  f
11#2  g  h  j
12
13df2.loc[(df1['c1']==df2['c1']) & (df1['c2']==df2['c2']) & (df1['c3']==df2['c3']) , 'c4'] = \
14df1[(df1['c1']==df2['c1']) & (df1['c2']==df2['c2']) & (df1['c3']==df2['c3'])]['c4']
15
16#  c1 c2 c3     c4
17#0  a  b  c  100.0
18#1  d  e  f  200.0
19#2  g  h  j    NaN