質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1561閲覧

[python] データベースのデータ上限下限値と照合し判定する関数を高速化したい

mini1988

総合スコア56

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2021/03/24 15:17

編集2021/03/24 16:26

あるデータセットの各データが、データベースのデータ各列の上限下限の範囲内に入っているかどうかを判定し、範囲外のものはインデックスを返す関数を作りたいと考えています。実際に自作して動作はするのですが、for文を多用しているせいか動作が非常に重く、どうにかしたいと思っています。

どうすれば高速で処理できるのか、どなたかご教示いただけないでしょうか?

案1

def _judge(x1, x2): ### x1:データベースのデータ, x2:判定するデータセット err_idx=[] for k in range(len(x2)): for i in range(x1.shape[1]): if x1.min(axis=0)[i] > x2[k,i] or x2[k,i] > x1.max(axis=0)[i]: err_idx.append(k) break return sorted(list(set(err_idx)))

案2

def _judge(x1, x2): ### x1:データベースのデータ, x2:判定するデータセット data_max=x1.max(axis=0) data_min=x1.min(axis=0) err_idx=[k for k in range(len(x2)) for i in range(x1.shape[1]) if data_min[i] > x2[k,i] or x2[k,i] > data_max[i]] return sorted(list(set(err_idx)))

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

以下が速いと思います。

python

1def _judge(x1, x2): 2 data_max=x1.max(axis=0) 3 data_min=x1.min(axis=0) 4 return list(pd.DataFrame(x2.apply(lambda x: (x>data_max).any() or (x<data_min).any(), axis=1), columns =['result']).query('result == True').index)

投稿2021/03/24 18:43

ppaul

総合スコア24670

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

mini1988

2021/03/24 23:59

ご教示いただいたいスクリプトで、高速に実行できるようになりました。とても助かります。ありがとうございました!apply, lambda, 等を使うことを想像できていませんでした。勉強したいと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問