【Python】Aviutlみたいに容量の大きい動画でも、スライダー操作でサクサク画像を表示できるようにしたい

Question

前提・実現したいこと

Pythonでテニスの動画解析ツールをつくっています。

↓の画面のように、GUIでスライダーがあり、スライダーを移動することで動画のフレームが移動し、そのフレームの画像が表示されるというものになっています。

フレーム数が長い動画を扱う場合、メモリが足りなくなるので、動画を細かく分けて扱っています。

できれば１つの動画として扱えるようにしたく、うまいやり方がないか模索中で、ご意見をいただきたいです。

同じ動画を扱うにしても、
フリーソフトのAviutlなどはこういった操作もサクサク動くので、ああいう感じでやりたいなあと思っています。

困っていること

①前処理として動画の画像情報をフレーム毎に配列に格納する処理をしています。
②動画解析時にスライダーを移動させると、スライダーの数字に合わせて配列を読みにいってその画像を表示する
ということをやっています。

↓は①のソースコードで、リサイズしてからimageArrayという配列に格納してます。
フレーム数が大きいとメモリが足りなくなるので、start=88000、end=98000と範囲を絞っております。

①のソースコード

# 動画ファイル(avi mp4)を読み込んで、各フレームをArrayファイルに格納する
import cv2
import sys
import numpy as np

w, h = 360, 640

start = 88000  
end = 98000  

imageArray = []
fileName = 'test.avi'
video = cv2.VideoCapture(fileName)
if not video.isOpened():
    print("Could not open video")
    sys.exit()
ok, frame = video.read()
if not ok:
    print('Cannot read video file')
    sys.exit()

for i in range(0, end):
    ok, frame = video.read()
    if(start <= i):
        if(ok):
            img_resize = cv2.resize(frame, (h, w))
            imageArray.append(img_resize)

video.release()
cv2.destroyAllWindows()

試したこと

動画を連番で画像ファイル（jpeg）などで全て保存してから、フレーム毎に画像ファイルを読み込みにいく、というやり方を試してみました。

しかし、画像ファイルを新たにつくることになるので容量が余計に増える、すべて保存するまでに時間を要する、などの課題がありまして、もっとよいやり方がないかなと思っております。

どうか宜しくお願いします。

補足情報（FW/ツールのバージョンなど）

参考ですが、Qiitaにこの動画解析ツールの記事を投稿してます。
Pythonでテニスの動画解析ツールを自作してみた

Answer 1

動画の最初から表示位置まですべて読み出しているように見えます。
必要な部分だけ読むようにしないと無駄に時間がかかります。
お使いのライブラリでそのような仕組みが用意されているかは知りませんが、seekとかありませんか?

中の話をすると、動画というものはI,P,Bの3種類のフレームからできており、単独で読めるのはIフレームのみなので、まずIを探しP,Bと差分を足す形になります。
そのへんも考慮してシークするとより速いでしょう。大抵の動画プレイヤーはIフレームへしかシークできません。

Comments

[otakoma]

ありがとうございます。PythonのOpenCVを使用していますが、video.setでシーク（フレーム位置を指定）することができそうです。

I,P,Bですが、なるほど、動画の圧縮方法をうまく利用することで効率的にシークすることができるんですね。勉強になります。