Tkinter内でのOpenCVを利用した写真撮影

Question

前提・実現したいこと

Tkinter内にOpenCVのキャプチャ画面を表示させ、ボタンクリックで撮影するプログラムを作成しているのですが、撮影がうまくいきません。
①Labelにキャプチャ画面表示
②ボタンを押すことで撮影
③下のラベルに画像表示

①と③は正常に動作しています。

発生している問題・エラーメッセージ

最初はcv2.imwrite(image_file_path, frame)と書いたのですが、そうすると

cv2.imwrite(image_file_path, label1)
TypeError: Expected cv::UMat for argument 'img'

というエラーがボタンを押すたびに表示されました。

調べたところキャストする方法しか見つからなかったため
cv2.imwrite((cv2.UMat(image_file_path)), frame)と書き換えたところ

cv2.imwrite((cv2.UMat(image_file_path)), frame)
TypeError: UMat() missing required argument 'ranges' (pos 2)

というエラーが表示されるようになりました。

該当のソースコード

ボタンのイベント部分とコード全体です。

def button1_click():

    image_file_path = './tmp.jpg'
    cv2.imwrite((cv2.UMat(image_file_path)), frame)

import numpy as np
import os
from PIL import Image,ImageTk
from keras.models import model_from_json
import cv2

#TkinterでGUI表示。判定ボタンと判定画像、モデルの写真リストを表示させたい。
import sys
import tkinter as tk
import tkinter.ttk as ttk
from tkinter import messagebox as tkMessageBox
from tkinter import filedialog as tkFileDialog

# 実行
root = tk.Tk()
root.title("cap_test") # タイトル
root.geometry("1280x780") # ウィンドウの幅と高さピクセル単位で指定（width x height）

#カメラ
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 240)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 180)

def button1_click():

    image_file_path = './tmp.jpg'
    cv2.imwrite((cv2.UMat(image_file_path)), frame)

    #tmp.jpgを表示
    image = Image.open("tmp.jpg")
    image = image.resize((320,240))
    tkpi2 = ImageTk.PhotoImage(image)
    label_image.configure(image = tkpi2)
    label_image.image = tkpi2

# フレームの作成

frame = tk.Frame(root,bd=2,relief="flat",bg="blue")
frame.pack(fill=tk.BOTH,side='right',expand=True)
frame.pack_propagate(0)

# フレームの作成
frame1 = tk.Frame(root,bd=2,relief="flat",bg="green")
# フレームを画面に配置し、縦方向に余白を拡張する
frame1.pack(fill=tk.BOTH,side=None,expand=True)
frame1.pack_propagate(0)

#カメラ表示
label1 = tk.Label(frame1,bg="black")
label1.grid(column=0,row=0)
# 作成したフレームにボタン1を配置
button1 = tk.Button(frame1,text="撮影")
button1["command"] = button1_click
button1.grid(column=0,row=1)



#tmp.jpgを表示
image = Image.open("tmp.jpg")
image = image.resize((320,240))
tkpi = ImageTk.PhotoImage(image)
label_image = tk.Label(frame1, image=tkpi,width=320,height=240)
label_image.grid(column=0,row=2)

# 作成したフレームにボタン2を配置
button2 = tk.Button(frame1,text="判定")
button2.grid(column=0,row=3)

# 作成したフレームにボタン3を配置
button3 = tk.Button(frame1,text="終了",command=quit)
button3.grid(column=0,row=4)


def show_frame():
    _, frame = cap.read()
    frame = cv2.flip(frame, 1)
    cv2image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGBA)
    img = Image.fromarray(cv2image)
    imgtk = ImageTk.PhotoImage(image=img)
    label1.imgtk = imgtk
    label1.configure(image=imgtk)
    label1.after(10, show_frame)

show_frame()






def quit():
    root.quit()





root.mainloop()

補足情報（FW/ツールのバージョンなど）

Python3.7.3
OpenCV4.10
Tkinter8.6

Answer 1

以下のようにcv2imageを書き込むようにすればよいです。

def button1_click():
    image_file_path = './tmp.jpg'
    cv2.imwrite(image_file_path, cv2image)
    # 略

cv2image = None
def show_frame():
    global cv2image
    # 略

Comments

[sezaki_H]

そのコードでも
TypeError: UMat() missing required argument 'ranges' (pos 2)
が表示されてしまいます。試しにUMatのキャストを外したところ、イメージファイルは生成されますが空のファイルができてしまいエラーになりました、、、。

[8524ba23]

失礼しました。不要なキャストが残っていましたのでコード修正しました。
キャプチャ画像は画面に表示されているでしょうか？
当方環境では正常に画像表示され「撮影」ボタンにてtmp.jpgファイル保存できています。

[sezaki_H]

ありがとうございます。
撮影はできたのですが、保存された画像のRGBが入れ替わってしまいます。
show_frame()内の変換を無効にするとキャプチャのRGBが入れ替わり、保存される画像は正常なRGBで保存されます。
cv2.imwriteの手前でRGBの変換を入れると
TypeError: Expected cv::UMat for argument 'src'
というエラーが出てしまいます。どうしたらよいでしょうか？

[8524ba23]

画像は正常に保存され問題は解決された思うのですが
>cv2.imwriteの手前でRGBの変換を入れると
この変換の意図は何でしょうか。

[sezaki_H]

キャプチャ画面の表示部分でcv2imageにcv2.COLOR_BGR2RGBAをかけており、それを外すとキャプチャ画面が正常に表示されないためそのまま残しているのですが、そうすると保存される画像のRGBがおかしくなるためcv2.imwriteの前で再変換を行おうと考えました。
そもそもキャプチャ画面をframeに代入する際に変換を行わなければいけないのはなぜなのでしょうか。

[8524ba23]

うーん。当方環境では保存画像のRGB値は正常です。。。

[sezaki_H]

そうですか、また色々試してみます。。。
コードは私のものをそのまま使いましたか？

[8524ba23]

cap.set(cv2.CAP_PROP_FRAME_WIDTH, 240)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 180)
を当方カメラに合わせ640x480に修正したのみです。

[sezaki_H]

cv2.COLOR_BGR2RGBAの最後のAが不要でした(汗)
ありがとうございます<(_ _)>