webアプリでスマホカメラを使ったリアルタイム物体検出

Question

前提

学校の卒業研究でスマートフォンを使ってリアルタイムに道路標識を検出するwebアプリを作成中

実現したいこと

webアプリで起動したスマホカメラでリアルタイムに物体検出

分からないこと

・webアプリで起動したスマホカメラのリアルタイム映像をどうやって物体検出へ繋げるのかが分からない
・ある程度調べたところ、webカメラを使ったリアルタイム物体検出をしているサイトはいくつかあるがwebアプリからリアルタイム物体検出を試したサイトが見つからなかった

補足情報

webサーバはherokuを使う予定
物体検出はyolov5sを使う予定

Comments

[jbpb0]

> リアルタイムに道路標識を検出するwebアプリを作成中

ということは、yolov5sを動かすのはスマホではなくwebアプリ側でしょうか？

上記がyesの場合ですが、

> webアプリで起動したスマホカメラのリアルタイム映像をどうやって物体検出へ繋げるのかが分からない

とは、「スマホカメラのリアルタイム映像」をwebアプリで受け取るところまではもうできてて、それをyolov5sに処理させるところが分からない、ということでしょうか？

[escape]

そうです

[jbpb0]

webアプリで受け取った「スマホカメラのリアルタイム映像」のデータを、
https://github.com/ultralytics/yolov5/blob/master/detect.py
の115行目の「for path, im, im0s, vid_cap, s in dataset:」の「dataset」と同じ形式にして、その直前に割り込ませたらいいような気がします

たとえば、動画ファイルの場合は
https://github.com/ultralytics/yolov5/blob/master/utils/dataloaders.py
の238行目からの「class LoadImages:」でそれを作ってて、315行目の「return path, im, im0, self.cap, s」で返してるのを、
https://github.com/ultralytics/yolov5/blob/master/detect.py
の109行目の「dataset = LoadImages(...」で受け取ってます

https://github.com/ultralytics/yolov5/blob/master/utils/dataloaders.py
のそのあたりのコードを読んで、どんな形式にしたらいいのかを解読するか、あるいは動画ファイルで
https://github.com/ultralytics/yolov5/blob/master/detect.py
を動かしてみて、その時に115行目の「for path, im, im0s, vid_cap, s in dataset:」の直後で、「path」と「im」と「im0s」と「vid_cap」と「s」にそれぞれ何が入ってるかを調べて、それと同様な形式に合わせるか、してみたらいかがでしょうか

Answer 1

webアプリで受け取った「スマホカメラのリアルタイム映像」のデータを、detect.py の115行目の「for path, im, im0s, vid_cap, s in dataset:」の「dataset」と同じ形式にして、その直前に割り込ませたらいいような気がします

たとえば、動画ファイルの場合は dataloaders.py の238行目からの「class LoadImages:」でそれを作ってて、315行目の「return path, im, im0, self.cap, s」で返してるのを、detect.py の109行目の「dataset = LoadImages(...」で受け取ってます

dataloaders.py のそのあたりのコードを読んで、どんな形式にしたらいいのかを解読するか、あるいは動画ファイルで detect.py を動かしてみて、その時に115行目の「for path, im, im0s, vid_cap, s in dataset:」の直後で、「path」と「im」と「im0s」と「vid_cap」と「s」にそれぞれ何が入ってるかを調べて、それと同様な形式に合わせるか、してみたらいかがでしょうか