Python cv2で出力した動画がぼやける

Question

DBに格納したRGBの数値データから10x10ドットの画像を生成し、それを１フレームの動画（mp4）にするプログラムを書いています。

画像は意図したとおりに生成されるのですが、画像を動画に変換すると全体にぼかしが入ったようにドットが潰れてしまいます。
また動画では緑のグラデーションが下部に入ってしまうようです（これもぼかしの影響かと思います）。

別のアプリケーションでこの動画を取り込んで各ドットの色情報を取得したいのですが、色が潰れないよう出力するにはどうすればよいのでしょうか。
改善箇所やワークアラウンド等あればご教授いただければと思います。

下記のコードは黒地に赤斜線の入った10x10ドットの画像を生成し、動画として出力するものです。
出力された画像では斜線がはっきり映りますが、動画ではぼけているのがわかります。

import cv2
import numpy as np

# output file
videopath = './output.mp4'
framepath = './frame.png'
# generate blank Image
w, h = 10,10 
frame = np.zeros((w, h, 3), dtype=np.uint8)

# init
list = [[255,0,0],[255,0,0],[255,0,0],[255,0,0],[255,0,0],
        [255,0,0],[255,0,0],[255,0,0],[255,0,0],[255,0,0]]

# generate frame
for counter in range(len(list)):
    x = counter
    y = counter
    r = list[counter][0]
    g = list[counter][1]
    b = list[counter][2]
    frame[x,y] = [b,g,r]

# output frame
cv2.imwrite(framepath,frame)

# set codec
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
writer = cv2.VideoWriter(videopath, fourcc, 20.0, (10, 10))

# write video
writer.write(frame)
writer.release()

追記

動画の用途について

VRChatというゲームに、ユーザーがUnityで作成したワールドをアップロードする機能があります。そのワールドに「動画の特定フレーム、特定座標から色情報を抜き出し、RGBの値に基づいた処理を行う」ギミックを実装したいのです。
シンプルに配列を渡す事ができればよいのですが、外部とやり取りする手段は限定されており、可能そうな中で動画を経由する手段が一番手軽だったためこのような手順をとっています。

受け取り側である程度の誤差は許容できるようにしていますが、検証しながら調整している最中なので、ひとまず10x10程度のサイズでボケのない（無劣化な）動画を出力できるようにしたいと考えています。

Comments

[ikadzuchi]

目的は何でしょうか。画質の劣化の無い動画フォーマットはファイル容量が格段に大きくなります。無劣化の必要があるのですか?

[knn_2013]

動画の用途に関して追記させていただきました。
ファイル容量も懸念点ではありますが、現時点では生成したい動画の寸法や再生時間が非常に小さいことから無視して良いと考えています。

Answer 1

なるほど、状況はわかりました。
確かに非圧縮または可逆圧縮の動画は妥当そうですが、気になることとしては非圧縮や可逆圧縮のコーデックはだいぶマイナーなのでVRChat側が対応しているかどうかですね。
一般的な動画コーデックでなるべく劣化の少ない出力を得ることを考えたほうがよいかもしれません。
ふつう、色情報は解像度が落ちますので、色でデータを渡そうとするのをやめてグレースケールにした方がよいです。
下に緑色が出る件ですが、画像サイズが(2進数で)中途半端なせいで異常が発生していそうな気がします。16pxの倍数にすると直るかもしれません。
それから、動きベクタが予想外の結果を招きそうなので、可能なら全フレームをIフレーム(キーフレーム)にしたいところです。どうすればできるかは分かりませんが。

Comments

[knn_2013]

情報ありがとうございます。
返信がお遅くなってしまいすみません。

グレースケールも検討しましたが送信したいデータ的にカラーのほうが都合が良いので最終手段にしようかと思います。
ピクセル数に関してはどうやらWindows標準のプレイヤーによるもののようでした。ただサイズが小さいほど顕著だったので、実際の環境で影響があるようなら容量と相談しつつサイズを大きくしてみようかと思います。
キーフレームに関しても調べてみようともいます。

Answer 2

動画にした時点で圧縮されてしまうのが原因なので非圧縮で動画を作成すればよいです。
How to write lossless video in Pythonを参考に

• scikit-videoをインストール
• ffmpegを（好きな場所に）インストール
• コード上でffmpegのあるパスおよび無圧縮形式を指定してwriterを作成

にて当方Win10+Anaconda環境では元イメージを維持したまま動画にできました。

import cv2
import numpy as np

# output file
videopath = './output.mp4'
framepath = './frame.png'
# generate blank Image
w, h = 10,10 
frame = np.zeros((w, h, 3), dtype=np.uint8)

# init
list = [[255,0,0],[255,0,0],[255,0,0],[255,0,0],[255,0,0],
        [255,0,0],[255,0,0],[255,0,0],[255,0,0],[255,0,0]]

# generate frame
for counter in range(len(list)):
    x = counter
    y = counter
    r = list[counter][0]
    g = list[counter][1]
    b = list[counter][2]
    frame[x,y] = [b,g,r]

# output frame
cv2.imwrite(framepath,frame)


import skvideo
skvideo.setFFmpegPath(r'～\ffmpeg\bin') # ffmpeg.exeを配置したディレクトリパス

import skvideo.io
writer = skvideo.io.FFmpegWriter(videopath, outputdict={
  '-vcodec': 'libx264',  #use the h.264 codec
  '-crf': '0',           #set the constant rate factor to 0, which is lossless
  '-preset':'veryslow'   #the slower the better compression, in princple, try 
                         #other options see https://trac.ffmpeg.org/wiki/Encode/H.264
}) 
writer.writeFrame(frame[:,:,::-1])  #write the frame as RGB not BGR
writer.close()

# 出力された動画から画像を切り出す
cap = cv2.VideoCapture(videopath)
ret, frame = cap.read()
cv2.imwrite('video.png', frame)
cap.release()

出力された動画から切り出した画像(video.png)

Comments

[knn_2013]

回答ありがとうございます。
動画の圧縮でしたか。思い至りませんでした・・・・。
修正いただいたコードで貼っていただいた通りの画像が出力されることを確認しました。
ただ当方のWin10上では動画の再生には失敗してしまうようなので、別途調べてみることにします。

[can110]

こちらではMPC-BE(https://sourceforge.net/projects/mpcbe/)にて動画再生できることまで確認できています。

[knn_2013]

こちらでもMPC-BEで再生できました。
調べたところ、出力された動画のコーデックはH.264 (High 4:4:4 Profile)ですが、Windowsメディアプレイヤーを含めた多数のプレイヤーに対してはH.264 (Main Profile)のほうが望ましいようです。
こちら（https://qiita.com/developer-kikikaikai/items/3772d63d30b523a92140）を参考に outputdict に追記してみたのですが、出力結果は変わりませんでした。
もしH.264 (Main Profile)に変更する方法をご存知でしたらご教授いただけないでしょうか。