python 画像処理について

Question

##やろうとしていること

赤外センサ（8x8構造）からデータを取得し、画像表示させています。
使用している赤外センサは、AMG8833です。
赤外センサに手をかざすと、手の輪郭が取得したデータ（画像）から分かる。ということをしたいです。

##困っていること
matplotlibとopencvのそれぞれのプログラムを作成し、ほぼ同じ位置で手をかざした画像を作成しましたが、
いずれも手の輪郭が分かりづらいです。
プログラムで何か改善する方法はありますでしょうか?

Answer 1

bicubic 補完で 8x8 の画像を拡大したとしても、画像がぼやけるだけで、情報量が増えるわけではないです。
手の輪郭を取得するのに 8x8 という解像度では不十分なのではないでしょうか。
例えば、Excel 方眼紙を作成し、8x8 マスの領域に手をドット絵で描けるかどうか試してみると、難しいことがわかると思います。

プログラムで何か改善する方法はありますでしょうか?

プログラムというよりは、赤外線センサーのハードの性能の問題だと思います。

追記

import numpy as np
import cv2
import matplotlib.pyplot as plt


img = np.array(
    [
        [20.75, 21.25, 22.25, 22.5, 21.25, 21.25, 22.75, 23.25],
        [20.5, 21.0, 22.25, 22.25, 23.25, 23.25, 24.0, 24.75],
        [20.0, 21.25, 21.75, 22.0, 22.5, 23.75, 25.5, 25.25],
        [20.0, 19.75, 20.75, 22.5, 24.25, 24.75, 25.25, 26.0],
        [20.25, 22.25, 23.25, 24.25, 24.0, 24.5, 25.5, 25.75],
        [21.0, 20.75, 21.0, 20.75, 21.5, 24.75, 26.0, 23.5],
        [21.0, 20.0, 20.25, 22.5, 24.0, 24.75, 22.25, 23.75],
        [21.25, 18.5, 20.5, 22.5, 21.0, 20.5, 20.25, 21.75],
    ]
)

# bicubic 補完で 300x300 にリサイズ
float_img = cv2.resize(img, dsize=(300, 300), interpolation=cv2.INTER_CUBIC)

# 画像として扱えるように float の配列を [0, 255] に minmax scaling する。
gray = cv2.normalize(
    float_img, None, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U
)

# 大津の手法で2値化する。
ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
print(f"threshold {ret}")

# 結果保存
cv2.imwrite("result.png", binary)

2値化した結果は以下のようになりました。

Comments

[raspypy]

回答ありがとうございます。
質問に掲載させていただいている"data"が、行列のデータとなります。
こちらで試していただくことは可能でしょうか。

[tiitoi]

試した結果を追記しました。
情報量は 8x8 しかないので、綺麗に手の輪郭を抽出することは無理ですが、2値化によって一応温度の高い領域とそうでない領域の白黒をつけることはできました。

[raspypy]

https://jp.seeedstudio.com/Grove-Infrared-Temperature-Sensor-Array-AMG8833-p-3185.html
このサイトは同じセンサを使用しているのですが、手がくっきり写っていたので、このサイトと同じようにできないかと思っていた次第です。
提案いただいた2値画像試させていただきます。

[tiitoi]

そのサイトや別質問 ( https://teratail.com/questions/246189 ) の画像を見ましたが、手とセンサーの距離によってぼやける場合と比較的くっきり映る場合があるのではないでしょうか。
手を離したり、近づけたり、指先だけにしたりしてみてはどうでしょうか？
そのサイトでも3本までは指先が比較的くっきりとれてますが、4本の場合だと質問の画像のようにぼやけてしまっているように思います。

[raspypy]

すみません。別質問のリンク先を確認していただけないでしょうか。
"ページが見つかりません"と表示されてしまいます。

[tiitoi]

リンクを修正しました。raspypy さんの1つ前の質問に貼ってあった画像を見ると、3本の指先なら比較的くっきり写っているように見えます

[raspypy]

ありがとうございます。
距離を変えたりしながら、試してみます。別質問も含めて丁寧に回答いただき、ありがとうございました。