PyAVでシークができない...

Question

PyAVでseekができません...

import av, time, threading

def seeker(a):
    time.sleep(20)
    a.seek(10)
a = av.open("[video_file]")
b = a.demux(audio=0,video=0)
threading.Thread(target=seeker, args=(a,)).start()
for p in b:
    for f in p.decode():
        print(f.index)
        time.sleep(0.1)

Answer 1

seek(10) で意図する動作が何かによって変わってきますが、
スレッドの扱いと、動画フォーマット特有のseek、辺りがキーポイントでしょうか。

• 別スレッドからのseek は、スレッドセーフな操作ではない。
• seek の引数(単位)の確認。オフセットは、timestamp です。

　→ bytes の場合は意味が変わってきます。フレームを正しく読み出せない位置へのseek
→ frame 単位のseekは出来ません。フレーム間圧縮等があると、デコードが出来ない。
正しく読み出すには、必ず近くの keyframe から読み出しを開始する必要があります。
任意のフレームに移動したい場合は seek 後に自分で読み進める。(PyAV側では対応しない)
time以外を指定する whence オプションは廃止になってます。
訂正: オプションの仕様が変更され any_frame オプションが有りました。

• seek 後に demux/decode を呼び出す。(途中でseekは出来ない、理由は上述)
• f.index は読み出し時の通し番号なので、seek 後の確認としては使えません。→ f.pts

1) Thread-safe

seek は(排他制御をしない場合) 同一スレッドから呼び出す必要があるので、
20秒迄のフレームを読み出した後に、seek → 改めて demux/decode の繰り返し。
video の後に audio もある点には注意。

同一スレッド内で呼び出す方法は幾つか有ります。

• 別スレッドからthreading.Eventでメインスレッドへ通知。
• 毎ループ時間を確認する。if pts * time_base > 20.0: seek ...

　→ 事前にパケット単位で確認する等で、効率化は出来そう。

• sched モジュールをノンブロッキングで使う。

2) Seek

• seek 位置は 00:10 秒付近なら seek(10 * av.time_base)
• seek(-1) で開始位置。

time_base は、seek 対象が、Container, CodecContext, Stream で変わります。
PyAV - time

---

検証用コード追記

def read_frame_until(timestamp):
    for p in a.demux(video=0, audio=0):
        if p.pts * p.time_base >= timestamp:
            # XXX: packet の区切り位置の確認
            # この条件で packet のループを抜けていいかどうかは未検証。
            break
        for f in p.decode():
            if f.pts * p.time_base >= timestamp:
                break
            yield p, f

for p, f in read_frame_until(20):
    print(f, f.pts * float(p.time_base)) # frame, 秒数を表示

# 00:00:10 直近の keyframe 迄 seek
print("SEEK 10")
a.seek(10 * av.time_base)

# keyframe 次第では、9秒付近から再開されることもある。
for p, f in read_frame_until(13):
    print(f, f.pts * float(p.time_base)) # frame, 秒数を表示

---

• PyAV seek

• FFMpeg av_frame_seek

　→ フラグにより内部の操作は分岐。別のフラグを指定したい場合は、この辺りのコードを読み解く。

Comments

[Marusoftware]

そういうことだったんですね...
seekの単位は、秒だったはず...(もっかい読みます...)
もう一回demuxしなきゃいけないのか....
理解しました...ありがとうございます。

[Marusoftware]

(ちなみに、別スレッドから呼び出してるのは、何かUI準備するのがめんどくさかったから...)

[teamikl]

frame 単位や bytes での seek も、引数次第で指定出来そうな雰囲気でした。
訂正: frame単位は誤りでした。keyframe以外のframeへのseekは可。

一点訂正、keyframe 以外へのseek は、
any_frame オプション> Seek to any frame, not just a keyframe.

---
スレッドを使った簡易的な実装なら、

from threading import Event, Timer

event = Event()
Timer(20, event.set).start() # 20秒後にフラグをセット

event.clear()
for f in a.decode(video=0, audio=0):
　print(f)

　# time.sleepの代わり。※ time.sleepでは待機時間を大きくしたときにラグが発生します。
　if event.wait(0.01): # event.set が呼ばれると待機状態をキャンセルしTrueを返す
　　break

a.seek(10 * av.time_base)

注意点としては、読み出し速度依存なので、動画内の時間は超過したフレームが含まれる事がある点。
意図する動作が、プログラムの「処理を開始し20秒後」にseek と、
「動画の時間が 20秒に達した時」にseek で若干異なります。
(sleep速度で読み出せるフレーム数が変わります)