python のpyavで音声を再生したい

Question

pythonのpyavで音付き動画を再生したいです。
なんとか画像は出るようになりましたがこれに音をつける方法がわかりません。
(Windowsです)

import av
import cv2

container = av.open("rtsp://192.168.100.142:8554/in.mp4")

for frame in container.decode(video=0):
    img = frame.to_ndarray(format='bgr24')
    cv2.imshow("Test", img)
    cv2.waitKey(1)

これで画像は出ていますが音声がいまのところ出ていません。
pyaudioでなんとかなるのか？とおもっていろいろ試したのですがうまくできませんでした。
もし知っていればお教えいただけるとありがたいです。

まだ考えています

for frame in container.decode(video=0,audio=1):
        print (type(frame))
        if type(frame) is av.video.frame.VideoFrame:
              img = frame.to_ndarray(format='bgr24')
              cv2.imshow("Test", img)
              key=cv2.waitKey(1)
        elif  type(frame) is av.audio.frame.AudioFrame:
              print ("is Audio")
              audio=frame.to_ndarray(format='s16')
              #ary=[frame]
              stream.write(audio)
              #print (frame.sample_rate)
        #if packet.stream.type == 'video':
        #   print("is video ")
        #   img = frame.to_ndarray(format='bgr24')
        #   cv2.imshow("Test", img)
        #   key=cv2.waitKey(1)  
        #elif packet.stream.type == 'audio':
        #   print("is audio")
        #print(packet.stream.type)
        #print(frame)
        #img = frame.to_ndarray(format='bgr24')
        #cv2.imshow("Test", img)
        #key=cv2.waitKey(1)

こう書き直しました。が依然として音はでません

Answer 1

一つお伺いしたいのですが、video=0, audio=1としている理由ってなんでしょうか...
audioのストリームは2つあったりしますか...?
audio=0とするといかがでしょうか...

あとは、こまったことに、それだとビデオのフレームしか出てこないかもしれないです。
参考までにこちらを...

import av
import cv2
import pyaudio

container = av.open("rtsp://192.168.100.142:8554/in.mp4")
#pyaudioの使い方を調べるのが面倒だったので、ストリームの作り方はご自分で追記して下さい...

for packet in container.demux(audio=0, video=0):
    if type(frame) is av.video.frame.VideoFrame:
        img = frame.to_ndarray(format='bgr24')
        cv2.imshow("Test", img)
        key=cv2.waitKey(1)
    elif  type(frame) is av.audio.frame.AudioFrame:
        audio=frame.to_ndarray(format='s16')
        #ary=[frame]
        stream.write(audio)

こんな感じですかね...

Comments

[kokawa2003]

ありがとうございます。ちょっとすきまができたら見ます感謝しております

[kokawa2003]

直接的なことを言えばこの時の問題KIVYのソースを見ていると簡単なMEDIA　PLAYERがあったのでそれで解決しました。がこれはこれで悩んでいるので見ますよ。

Answer 2

音ですよね？
そしたら、私はsounddeviceを使いました。
pip install sounddeviceで入ります。
えっと、portaudioに依存します。

import av
import cv2
import sounddevice
import numpy

container = av.open("rtsp://192.168.100.142:8554/in.mp4")
stream = sounddevice.OutputStream(samplerate=container.stream.audio[0].sample_rate)
for frame in container.decode(video=0,audio=1):
    if type(frame) is av.video.frame.VideoFrame:
        img = frame.to_ndarray(format='bgr24')
        cv2.imshow("Test", img)
        key=cv2.waitKey(1)
    elif  type(frame) is av.audio.frame.AudioFrame:
        audio=frame.to_ndarray(format='s16')
        audio = numpy.rot90(audio,-1).copy(order="C")
        stream.write(audio)
        if stream.stopped:
            stream.start()

こんな感じでいかがでしょう。問題があったら、お知らせ下さい。(多分おおあり)
こちらは(宣伝すみません)、私の書いたものですが、tkinter(pythonの標準GUIモジュール)で動画を音声つきで再生しようという試みです。(お手伝いいただけるのであれば、大歓迎です!!)
Marusoftware/tkmedia3
まあ、こんな問題や、同期の問題、デバイス関連の問題など、いろいろあるので、まだ改善の余地はありそうですが...