animation保存時間の短縮

Question

実現したいこと

matplotlibによるアニメーションの保存時間を短縮したい

前提

animationの保存に30分以上かかってしまいます。保存されたgifはイメージ通りで正しいと思われます。

発生している問題・エラーメッセージ

エラーメッセージ無し
保存時間が長すぎる

該当のソースコード

#必要なライブラリのインポート
import random
import numpy as np
import matplotlib.pyplot as plt
import numpy.random as rand

#行数と列数の指定
m = 20
n = 20
#訓練データの数を指定 
n_x =4000

#ランダムなRGB値をもつn_xこの訓練データを生成。各要素は３つずつ。
train_data = np.random.randint(0, 255, (n_x, 3))

#ランダムなRGB値を持つSOMの初期状態をsomと定義。生成された整数値を浮動小数点に変換。
som = np.random.randint(0, 255, (m, n, 3)).astype(float)

#SOMを画像として表示する。浮動小数点の値をsom.astype(int)で整数に変換。軸オブジェクトを取得。x軸とy軸を非表示に設定。
plt.imshow(som.astype(int))
ax = plt.gca()
ax.axes.xaxis.set_visible(False)
ax.axes.yaxis.set_visible(False)
# SOM内のBMUを見つける。SOMと入力ベクトルx（ランダムに抽出された訓練データ）の間のユークリッド距離の二乗を計算し、最小値の座標を返す。
def find_BMU(SOM,x):
    distSq = (np.square(SOM - x)).sum(axis=2)
    return np.unravel_index(np.argmin(distSq, axis=None), distSq.shape)
    
# update_weightsは、与えられた1つのトレーニング例と、BMUの座標を含むモデルパラメータと共に、SOMのセルの重みを更新する
def update_weights(SOM, train_ex, learn_rate, radius_sq, 
                   BMU_coord, step=3):
    g, h = BMU_coord
    #半径が０に近いとき、BMUのみ変更する
    if radius_sq < 1e-3:
        SOM[g,h,:] += learn_rate * (train_ex - SOM[g,h,:])
        return SOM
    # BMUの小さい近傍全てのセルを更新する。dist_funcは距離感数で、ガウス関数に基づいており、BMUから離れるにつれて減衰する。学習率、距離感数、トレーニング例との差を乗算して、近傍セルの重みを更新する。

    for i in range(max(0, g-step), min(SOM.shape[0], g+step)):
        for j in range(max(0, h-step), min(SOM.shape[1], h+step)):
            dist_sq = np.square(i - g) + np.square(j - h)
            dist_func = np.exp(-dist_sq / 2 / radius_sq)
            SOM[i,j,:] += learn_rate * dist_func * (train_ex - SOM[i,j,:])   
    return SOM    


def train_SOM(SOM, train_data, learn_rate = .001, radius_sq = 1, 
             lr_decay = .001, radius_decay = .1, epochs = 100):    
#初期の学習率と半径の２乗を保持する（学習率と減衰を制御するため）  
    learn_rate_0=learn_rate
    radius_0 = radius_sq
#指定されたエポック数の回数だけトレーニングを繰り返す。
    for epoch in np.arange(0, epochs):
        #各エポックごとに、トレーニングデータセットをランダムにシャッフルする。
        rand.shuffle(train_data)      
        #SOMの重みを更新する
        for train_ex in train_data:
            g, h = find_BMU(SOM, train_ex)
            SOM = update_weights(SOM, train_ex, 
                                 learn_rate, radius_sq, (g,h))
        # 学習率と半径の更新（学習率は指数関数的に減衰し、エポックごとに小さくなる。同様に、半径も指数関数的に減衰し、トレーニングの進行に応じて小さくなる）
        learn_rate = learn_rate_0 * np.exp(-epoch * lr_decay)
        radius_sq = radius_0 * np.exp(-epoch * radius_decay)            
    return SOM

import matplotlib.animation as animation
from PIL import Image

#初期のSOMの状態を表示。somを整数型に変換し、x軸y軸を非表示にする。
fig, ax = plt.subplots(figsize=(3, 3))
ax.imshow(som.astype(int))
ax.axes.xaxis.set_visible(False)
ax.axes.yaxis.set_visible(False)


def update(frame):
    global som
    SOM = train_SOM(som, train_data)
    ax.imshow(SOM.astype(int))
    som = SOM
    return ax

ani = animation.FuncAnimation(fig, update, frames=1000, interval=.000001, blit=False)
# アニメーションをGIFファイルとして保存する
ani.save('SOM_training_animation.gif', writer='imagemagick', fps=10)

試したこと

学習率などパラメータの変更は試してみましたが、変化がありませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

> animationの保存に30分以上かかってしまいます。
動画の時間とSPFはいくつでしょうか？

[rody]

コメントいただきありがとうございます。
動画時間は15秒ほどです。
SPFについては確認方法が分からず、すみません

[meg_]

「matplotlibによるアニメーションの保存時間を短縮したい」とのことですが、「学習率などパラメータの変更は試してみましたが、変化がありませんでした。」にもあるように問題はmatplotlib以外ということでしょうか？それともアニメーション作成をしない場合はプログラムは短時間で終了するのでしょうか？

[rody]

最後のani.save以前のコードのみで実行すると、１秒足らずで完了する状況です。
ただ、保存の際にそれ以前のコードを繰り返し処理してしまっているようなので、matplotlibの問題ではないのかもしれません。すみません、当方初心者なもので知識が不足しています…

[meg_]

ani.saveをplt.show()にしたらどうなりますか？ハードディスクへの保存に時間が掛かっているかどうかの確認です。

[rody]

plt.show（）に変更したところ、1秒以内で結果画像が出力できました

[meg_]

ところで、FuncAnimationのintervalはミリ秒指定ですがコードの数値で合ってますか？

[rody]

300ミリ秒程度からだんだん小さくして試していたのですが、数値をどれだけ小さくしても変化が少しも速くならず、この数値まで試したところで諦めたという状況です…

Answer 1

.gif出力が遅いという事例がmatplotlib animation.save to animated gif very slowにあがっています。
詳しく読んでいませんが、回答には原因や対策などが記載されているようですが
別の動画形式で出力して、必要なら動画から.gifに変換するツールを利用する方が早いかもしれません。

Comments

[rody]

回答いただきありがとうございます。
別の動画形式とはmp4などでしょうか？試してみたのですが、gifと同じく時間がかかりすぎて処理が完了しない状況です。

[8524ba23]

はい。
たとえば ani.save('hoge.mp4', writer="ffmpeg") のような感じで
imagemagick以外だと速くなるかもしれません。

[rody]

ffmpeg ,Pillowを試してみましたが、解決できませんでした