質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.25%

  • Python 3.x

    2761questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • NumPy

    252questions

    NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

以下のコードが遅いため、速くしたいです。

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 4
  • VIEW 130

yumatsuoka

score 3

前提・実現したいこと

PythonのNumpyを使って、大型のテンソルを処理しようとしています。
下記のものが自分で書いたコードになりますが、
処理速度が遅いために、みなさんにより処理速度の速い書き方を教わりたいと思い、相談いたします。

行列を使ってやりたいことを以下に書きます。
xnという100個のデータの集合の4次元のテンソルがあり、
xnの100個それぞれのデータに対してtnというラベルが対応して振られています。

tnは0〜9までの数がランダムに100個入っており、含まれてない数もあれば、重複している数もあります。

# **tnとpyは0〜9までの数がランダムに100個入っており、含まれてない数もあれば、重複している数もあります。**
tn -> [9, 2, 1, 5,...i..1]
xn -> [[[[0.1, ..... 0.2], [...]], [[...], [...]]], [[[0.1, ..... 0.2], [...]], [[...], [...]]]]
py -> [1, 3, 8, 2,...i..3]

また、pyというtnと同じ100次元のラベルのベクトルがあります。
そこで、pyに対して、tnとのラベルの値を基準として2つのラベルの対応を崩さない状態で状態で、
xnから(25, 250, 250)のテンソルをランダムにピックアップしたいのです。

この条件で自分が書いたコードが以下のものになります。

# versions: python=v3.6.1, numpy=v1.12.1

import numpy as np
xn = np.ndarray # xn.shape => (100, 25, 250, 250)
tn = np.ndarray # tn.shape => (100)
py = np.ndarray # py.shape => (100)

for n in range(50000):
    ansr = np.asarray([xn[np.random.choice(np.where(tn == y)[0], 1, replace=True)[0]] for y in py])

解決したいこと、聞きたいこと。

上記ように処理を50,000回ほど繰り返す必要があるのですが、
上記のコードがボトルネックになっていて、処理速度がとても遅いです。

PythonのNumpyを使う前提で、上記のゴールを達成するできるだけ速いコードの書き方を提案してもらえないでしょうか。

どうぞよろしくお願いします。

補足情報(言語/FW/ツール等のバージョンなど)

 versions

  • python=3.6.1
  • numpy=1.12.1
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+3

訂正:ご指摘によりコードの間違いを訂正しました。
誤:ansr = np.asarray([xn[rd.choice(indices, replace=True)] for y in py])
正:ansr = np.asarray([xn[rd.choice(indices[y], replace=True)] for y in py])
一応速度を測りなおしたのでそれも反映しました。(割と変動するのであくまで参考値ですが)
ご指摘ありがとうございました。>mkgreiさん


素朴な点だけ・・・

ループの中で同じ計算を何度も繰り返せば効率は下がるので同一の式をループの外に移動させてはいかがですか?np.where(tn == y)[0]は何度も計算する必要はないので外に出せると思います。

またどのくらい違いがあるかわかりませんが、choiceの結果を1要素の一次元配列として取り出しその要素を取り出すぐらいなら最初からsize=Noneのままにしてはいかがでしょうか?

import numpy as np
from numpy import random as rd
import time

tn = rd.choice(10, 100, replace=True)
py = rd.choice(10, 100, replace=True)
xn = rd.choice(10, (100, 1, 1, 1), replace=True)

print('tn =', tn)
print('py =', py)

# オリジナル

def test1():
  for n in range(1000):
    ansr = np.asarray([xn[rd.choice(np.where(tn == y)[0], 1, replace=True)[0]] for y in py])

# ちょっと早くしてみた版

indices = [np.where(tn == y)[0] for y in range(0,10)]

def test2():
  for n in range(1000):
    ansr = np.asarray([xn[rd.choice(indices[y], replace=True)] for y in py])

def sw(f):
    t1 = time.time()
    f()
    t2 = time.time()
    et = t2 - t1
    print(f"elapsed: {et}")

sw(test1)
sw(test2)


==>
elapsed: 3.420769453048706
elapsed: 0.9050662517547607


Windows 10, AMD A10-7700K APU 3.4GHz
Python 3.6.0


以上はあくまで同じことを繰り返しやらされるPythonインタープリタの身になって考えてみた小手先のチューニングに類するものだと思いますので、ループ本体のアルゴリズムを見直した方が効果が高いとは思います。

なお、forループの中でやっていることに依存するかも知れませんが、単純に複数スレッド(複数プロセス)でやってみたらどうでしょうか。自分のPCは2コアしかないですが、4コアのプロセッサーのPCを使っていた当時、計算量が大きいものを8スレッド程度でやるとちょっと感動するぐらい早く感じた経験があります。数倍高速化ってのはあなどれない性能向上と思います。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/25 10:46

    KSwordOfHasteさん、回答ありがとうございました。
    いつも何も考えずにループを書いているので、参考になりました。
    "インタプリタの身になって考えてみる"を考えて見たいと思います。
    また、アルゴリズムももう1度考えてみたいと思います。

    ありがとうございました。

    キャンセル

  • 2017/12/25 10:46

    KSwordOfHasteさん、回答ありがとうございました。
    いつも何も考えずにループを書いているので、参考になりました。
    "インタプリタの身になって考えてみる"を考えて見たいと思います。
    また、アルゴリズムももう1度考えてみたいと思います。

    ありがとうございました。

    キャンセル

  • 2017/12/25 10:48

    勘違いかもしれませんが[y]が必要かもしれません。
    ansr = np.asarray([xn[rd.choice(indices[y], replace=True)] for y in py])

    キャンセル

  • 2017/12/25 11:00

    mkgreiさんご指摘ありがとうございます。
    おっしゃるとおりindices[y]としなければいけませんでした!
    結果をちゃんと見ておくべきでした。申し訳ありません。
    コードと測定しなおした結果を反映いたします。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.25%

関連した質問

  • 解決済

    Python 2.7.12, mnistデータをk-nnで識別しエラー率を算出する方法

    下記URLのサイトにある4つのmnistデータをk-nnで識別しエラー率を算出したいと考えています。他の方の方法を参考にコードを書いてみたのですがエラーが出てしまいました。アドバイ

  • 解決済

    matplotlibのplotによる描画が上手くいきません。

    matplotlibのplotによる描画が上手くいきません。 プログラミング初心者です。 pythonのmatplotlibというパッケージを使って、以下の関数の描画を行いたい

  • 解決済

    pythonのプログラムの高速化

    pythonのプログラムなのですが、処理にかかる時間が長く困っています。改善策があれば教えてください。 m2 = np.empty((0,80)) for x in m:

  • 解決済

    乱数をfloat32に変換する方法

    以下で発生させた乱数とデータセットをfloat32に変換するにはどうしたら良いでしょうか? import numpy as np M = 1000 N = 3072 n =

  • 受付中

    python(predict)の使い方に関して

    前提・実現したいこと ここに質問したいことを詳細に書いてください (例)PHP(CakePHP)で●●なシステムを作っています。 ■■な機能を実装中に以下のエラーメッセージが発生し

  • 解決済

    cythonでの型の付け方

    cythonのpyxファイルに型つけをしたいです import numpy as np def gaussian(x, mean, cov): A = 1. / ((

  • 解決済

    cythonの型定義

    cythonファイルに型を定義したいです もともとのpyxファイルと 自分で型を定義したときのコードをのせます gamma1.pyx from math import exp

  • 解決済

    Pythonの階層クラスタを構成する葉を取得したい。

    Pythonの scipy.cluster.hierarchyで階層クラスタリングをすると、以下のようなリンケージ行列だけが返ってきますが、簡単にクラスタを構成する葉を取ってくるこ

同じタグがついた質問を見る

  • Python 3.x

    2761questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • NumPy

    252questions

    NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。