質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.91%

for文で書かれたデータフレーム処理の高速化

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 216

SatokoM

score 4

前提・実現したいこと

複数のデータフレームを組み合わせて総当たりの新しいデータフレームを作りたいと考えています。
ただ、組み合わせるデータフレームの数が増えると遅くなってしまい困っています。
配列に変換することである程度早くはなったのですが、もう少し処理速度を上げたいです。
そもそも書き方が冗長な気がするのでもっとスマートに書きたいです。
よろしくお願いいたします。

該当のソースコード

import pandas as pd
import numpy as np

#listを4種類作る
l_1 = [[1, 2], [3, 4]]
l_2 = [[11, 22], [33, 44]]
l_3 = [[111, 222], [333, 444]]
l_4 = [[1111, 2222], [3333, 4444]]

#listからDFに変換
df1 = pd.DataFrame(l_1, columns=['A', 'B'])
df2 = pd.DataFrame(l_2, columns=['C', 'D'])
df3 = pd.DataFrame(l_3, columns=['E', 'F'])
df4 = pd.DataFrame(l_4, columns=['G', 'H'])

#DFから配列に変換
array1 = df1.values
array2 = df2.values
array3 = df3.values
array4 = df4.values

#for文を使ってDFを総当たりで結合
lst = []
for I in array1:
    for I2 in array2:
        for I3 in array3:
            for I4 in array4:
                lst.append(np.concatenate([I, I2, I3, I4]))
array_merged = np.array(lst)
array_merged

#カラム名を設定
columns_name = df1.columns.append(df2.columns)
columns_name = columns_name.append(df3.columns)
columns_name = columns_name.append(df4.columns)
#columns_name = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H']

df_merged = pd.DataFrame(array_merged, columns=columns_name)
df_merged

    A    B    C    D    E    F    G    H
0    1    2    11    22    111    222    1111    2222
1    1    2    11    22    111    222    3333    4444
2    1    2    11    22    333    444    1111    2222
3    1    2    11    22    333    444    3333    4444
4    1    2    33    44    111    222    1111    2222
5    1    2    33    44    111    222    3333    4444
6    1    2    33    44    333    444    1111    2222
7    1    2    33    44    333    444    3333    4444
8    3    4    11    22    111    222    1111    2222
9    3    4    11    22    111    222    3333    4444
10    3    4    11    22    333    444    1111    2222
11    3    4    11    22    333    444    3333    4444
12    3    4    33    44    111    222    1111    2222
13    3    4    33    44    111    222    3333    4444
14    3    4    33    44    333    444    1111    2222
15    3    4    33    44    333    444    3333    4444

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+1

速度アップが見込まれるかは分かりませんがitertools.productを使うと簡潔に書けます。

import pandas as pd
import itertools
from functools import reduce
from operator import add

#listを4種類作る
l_1 = [[1, 2], [3, 4]]
l_2 = [[11, 22], [33, 44]]
l_3 = [[111, 222], [333, 444]]
l_4 = [[1111, 2222], [3333, 4444]]

lst = []
for e in itertools.product(l_1, l_2, l_3, l_4):
    lst.append( reduce(add, e))
df = pd.DataFrame(lst, columns=list('ABCDEFGH'))
print(df)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/17 09:24 編集

    ご回答いただきありがとうございます。
    今回例のDFを作るためにlist→DFの処理を行っていますが、実際のデータではlistの状態は存在せず、
    csvファイルの表から直接DFを作っています。
    もしdf1, 2, 3 ,4 を使って作る方法があればご教示いただけますと幸いです。
    説明が不十分で申し訳ありません。

    キャンセル

  • 2020/07/17 09:41

    すでにDFがあれば、それをnumpyのarrayにして.tolistでリストにすればよいです。
    すなわち質問コードに合わせれば
    「for e in itertools.product(array1.tolist(), array2.tolist(), array3.tolist(), array4.tolist()):」
    とすればよいです。

    キャンセル

  • 2020/07/22 11:33

    そうですね!
    考えが及ばなかったです。
    ありがとうございます。

    キャンセル

checkベストアンサー

0

コードを整理すればもっといい方法があるかもしれませんが、以下の方法でいかがでしょうか。itertools.productより速いと思われます(特に各要素が数値なら)。

from sklearn.utils.extmath import cartesian


def df_product(df_list):
    arrs = [df.to_numpy() for df in df_list]
    lens = np.array([len(arr) for arr in arrs])

    idx = cartesian([np.arange(length) for length in lens])
    offset = lens.cumsum() - lens

    new_arr = np.vstack(arrs)[idx+offset].reshape(-1, 2*len(df_list))
    return pd.DataFrame(new_arr, columns=np.concatenate(
        [df.columns.to_numpy() for df in df_list]))

動作確認

In [11]: l_1 = [[1, 2], [3, 4]]
       : l_2 = [[11, 22], [33, 44]]
       : l_3 = [[111, 222], [333, 444]]
       : l_4 = [[1111, 2222], [3333, 4444]]
       :
       : df1 = pd.DataFrame(l_1, columns=['A', 'B'])
       : df2 = pd.DataFrame(l_2, columns=['C', 'D'])
       : df3 = pd.DataFrame(l_3, columns=['E', 'F'])
       : df4 = pd.DataFrame(l_4, columns=['G', 'H'])
       :
       : df_product([df1, df2, df3, df4])
Out[11]:
    A  B   C   D    E    F     G     H
0   1  2  11  22  111  222  1111  2222
1   1  2  11  22  111  222  3333  4444
2   1  2  11  22  333  444  1111  2222
3   1  2  11  22  333  444  3333  4444
4   1  2  33  44  111  222  1111  2222
5   1  2  33  44  111  222  3333  4444
6   1  2  33  44  333  444  1111  2222
7   1  2  33  44  333  444  3333  4444
8   3  4  11  22  111  222  1111  2222
9   3  4  11  22  111  222  3333  4444
10  3  4  11  22  333  444  1111  2222
11  3  4  11  22  333  444  3333  4444
12  3  4  33  44  111  222  1111  2222
13  3  4  33  44  111  222  3333  4444
14  3  4  33  44  333  444  1111  2222
15  3  4  33  44  333  444  3333  4444

↓数が増えても大丈夫です。

In [12]: l_1 = [[1, 2], [3, 4], [5, 6]]  # ←[5, 6]を追加
       : l_2 = [[11, 22], [33, 44]]
       : l_3 = [[111, 222], [333, 444]]
       : l_4 = [[1111, 2222], [3333, 4444]]
       :
       : df1 = pd.DataFrame(l_1, columns=['A', 'B'])
       : df2 = pd.DataFrame(l_2, columns=['C', 'D'])
       : df3 = pd.DataFrame(l_3, columns=['E', 'F'])
       : df4 = pd.DataFrame(l_4, columns=['G', 'H'])
       :
       : df_product([df1, df2, df3, df4])
Out[12]:
    A  B   C   D    E    F     G     H
0   1  2  11  22  111  222  1111  2222
1   1  2  11  22  111  222  3333  4444
2   1  2  11  22  333  444  1111  2222
# (中略)
13  3  4  33  44  111  222  3333  4444
14  3  4  33  44  333  444  1111  2222
15  3  4  33  44  333  444  3333  4444
16  5  6  11  22  111  222  1111  2222
17  5  6  11  22  111  222  3333  4444
18  5  6  11  22  333  444  1111  2222
19  5  6  11  22  333  444  3333  4444
20  5  6  33  44  111  222  1111  2222
21  5  6  33  44  111  222  3333  4444
22  5  6  33  44  333  444  1111  2222
23  5  6  33  44  333  444  3333  4444

In [13]: l_1 = [[1, 2], [3, 4]]
       : l_2 = [[11, 22], [33, 44]]
       : l_3 = [[111, 222], [333, 444]]
       : l_4 = [[1111, 2222], [3333, 4444]]
       : l_5 = [[11111, 22222], [33333, 44444]]  # ←l_5を追加
       :
       : df1 = pd.DataFrame(l_1, columns=['A', 'B'])
       : df2 = pd.DataFrame(l_2, columns=['C', 'D'])
       : df3 = pd.DataFrame(l_3, columns=['E', 'F'])
       : df4 = pd.DataFrame(l_4, columns=['G', 'H'])
       : df5 = pd.DataFrame(l_5, columns=['I', 'J'])
       :
       : df_product([df1, df2, df3, df4, df5])
Out[13]:
    A  B   C   D    E    F     G     H      I      J
0   1  2  11  22  111  222  1111  2222  11111  22222
1   1  2  11  22  111  222  1111  2222  33333  44444
2   1  2  11  22  111  222  3333  4444  11111  22222
3   1  2  11  22  111  222  3333  4444  33333  44444
4   1  2  11  22  333  444  1111  2222  11111  22222
5   1  2  11  22  333  444  1111  2222  33333  44444
6   1  2  11  22  333  444  3333  4444  11111  22222
7   1  2  11  22  333  444  3333  4444  33333  44444
8   1  2  33  44  111  222  1111  2222  11111  22222
# (後略)

速度比較

In [21]: def df_product_itertools(df_list):
       :     lsts = [df.to_numpy().tolist() for df in df_list]
       :     new_list = [reduce(add, e) for e in itertools.product(*lsts)]
       :     return pd.DataFrame(new_list, columns=np.concatenate(
       :        [df.columns.to_numpy() for df in df_list]))

In [22]: l_1 = [[1, 2], [3, 4]]
       : l_2 = [[11, 22], [33, 44]]
       : l_3 = [[111, 222], [333, 444]]
       : l_4 = [[1111, 2222], [3333, 4444]]
       : l_5 = [[11111, 22222], [33333, 44444]]
       :
       : df1 = pd.DataFrame(l_1, columns=['A', 'B'])
       : df2 = pd.DataFrame(l_2, columns=['C', 'D'])
       : df3 = pd.DataFrame(l_3, columns=['E', 'F'])
       : df4 = pd.DataFrame(l_4, columns=['G', 'H'])
       : df5 = pd.DataFrame(l_5, columns=['I', 'J'])

In [23]: %timeit df_product([df1, df2, df3, df4])
       : %timeit df_product_itertools([df1, df2, df3, df4])
355 µs ± 18.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
928 µs ± 16.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In [24]: %timeit df_product([df1, df2, df3, df4, df5])
       : %timeit df_product_itertools([df1, df2, df3, df4, df5])
378 µs ± 12.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
1.12 ms ± 17.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/22 11:35

    ご回答いただきありがとうございます。
    実データに適用しても十分な高速化が確認できましたのでこちらをベストアンサーとさせていただきます。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.91%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る