for文以外での２つのエクセルの結合し新しいエクセルファイルの作り方

Question

2つのエクセルデータがあり、両方ともDEに位置情報(400×400)が書いてあります。
1つはすべてのデータと位置情報(D0~400)があります。(the package.csvとおく)

2つは特定のデータと位置情報があります。(newinsidepackage.csvとおく)

その上で今回はDEの位置情報に当てはまる2つ目のnewinsidepackage.csvのデータを1つ目に入れて新しいエクセルファイルを作成するプログラムを考えています。（例えば2つ目のデータの1番目がD=41 E=291のですので1つ目のデータの16692番目のところが書き換えられる仕組みにしたいと考えています。）

inpackage_img = np.loadtxt("newinside package.csv",delimiter = ",", dtype = float)
package_img = np.loadtxt("the package.csv",delimiter = ",", dtype = float)

for d in range (len(inpackage_img)):
    for i in range(len(package_img)):
        if (inpackage_img[d][3]== package_img[i][3]) and (inpackage_img[d][3]== package_img[i][4]):
                package_img[i][0] = inpackage_img[d][0]
                package_img[i][1] = inpackage_img[d][1]
                package_img[i][2] = inpackage_img[d][2]
        else:
            pass
with open('new package.csv', 'w',newline='') as f:
    for h in range (len(package_img)):
        writer.writerow([package_img[h][0],package_img[h][1],package_img[h][2]])
f.close

上記のコードのようにDEの位置情報をそれぞれfor文でまわして一致しているところを2つ目のデータを1つ目のデータに入れて更新する形で作っていますが、繰り返すデータ数が多すぎて実行完了するまでに2時間近くかかってしまいます。
そこでfor文以外で簡単に2つのエクセルを結合して新しいエクセルファイルを作れる方法を探しています。
どなたかアドバイスをいただけないでしょうか？

Comments

[ppaul]

if (inpackage_img[d][3]== package_img[i][3]) and (inpackage_img[d][3]== package_img[i][4]):
ということは、
package_img[i][3]==package_img[i][4]
が成り立つという時しかTrueにならないということで合っていますか？

[mainichiramen]

自分のなかでは1つ目と2つ目のデータのDの部分の値（inpackage_img[d][3]== package_img[i][3]）とEの部分の値(inpackage_img[d][3]== package_img[i][4])が等しい場合にTrueにしたいと考えています。画像で追加しましたが例えば2つ目のデータの1番目がD=41 E=291のですので1つ目のデータの16692番目のところが書き換えられる仕組みにしたいと考えています。

[Crimson_Tide]

ppaulさんのご指摘を言い換えれば、
> Eの部分の値(inpackage_img[d][3]== package_img[i][4])
の(inpackage_img[d] の添え字が３になっているが誤りで、４が正しいのではないですか？
Eの部分の値(inpackage_img[d][4]== package_img[i][4])
ということかと思いますが、どうでしょうか？
このままだと16692番目ではなくて D41 E 41 の行の値を使用することになってしまいます。

[Crimson_Tide]

the package.csvのD列 E列は D列 E列の順で昇順にソートされているという前提でしょうか？
また、D0~400 とあるので 0~400まであるかと思いましたが 400x400ということは 0~399までで、 トータル160000行ということであっていますか？

Answer 1

1つ目と2つ目のデータのDの部分の値（inpackage_img[d][3]== package_img[i][3]）とEの部分の値(inpackage_img[d][3]== package_img[i][4])が等しい場合にTrueにしたい

というのが、

1つ目と2つ目のデータのDの部分の値（inpackage_img[d][3]== package_img[i][3]）とEの部分の値(inpackage_img[d][4]== package_img[i][4])が等しい場合にTrueにしたい

の書き間違いであるなら、以下でできるでしょう。

package_img2 = package_img.reshape(400,400,5)[:,:,[0,1,2]]
package_img2[[inpackage_img[:,3].astype(int),inpackage_img[:,4].astype(int)]] = inpackage_img[:,0:3]
package_img.reshape(6,6,5)[:,:,[0,1,2]] = package_img2

検証テストは行っていませんが、多分動きます。

Answer 2

pythonで、大量のデータをforを使って処理すると時間がかかります。(特に多重のループだと顕著です)
できるだけnumpyの機能をつかってforを減らします。

内側のforはnumpyのファンシーインデックスで、ループせずにできます。
また、ひとつひとつ代入するのではなく、スライスを使ってarrayのままコピーすることで、
多少早くなると思います。

for d in range(len(inpackage_img)):
    idx = np.all(package_img[:, 3:] == inpackage_img[d, 3:], axis=1)
    package_img[idx, :3] = inpackage_img[d, :3]

追記

the package.csv がD列, E列でソートされているのなら、どの行のデータを更新するのかが四則演算で出せるので、下記の通りループを使わずに書けます。

package_img[(inpackage_img[:, 3] * 400 + inpackage_img[:, 4]).astype(int), :3] = inpackage_img[:, :3]