RuntimeError: [Open3D ERROR] There must be at least 'ransac_n' points.

Question

前提・実現したいこと

カメラ映像から取得した点群データをリアルタイムで平面分割したい。
別コードでカメラ映像から点群データをリアルタイムで出力しており、そのデータをさらに平面分割したいです。
ソースコードは公式ドキュメントの平面セグメンテーションを参考にしています。
コードを実行したところ、下記のようなエラーが発生しました。

発生している問題・エラーメッセージ

RuntimeError: [Open3D ERROR] There must be at least 'ransac_n' points.

該当のソースコード

import open3d as o3d

vis = o3d.visualization.Visualizer()
vis.create_window()
geome_add = False

while True:
    pcd = o3d.io.read_point_cloud("./pc_color.pcd")
    plane_model, inliers = pcd.segment_plane(distance_threshold=0.1,ransac_n=300,num_iterations=100)

    inlier_cloud = pcd.select_by_index(inliers)
    inlier_cloud.paint_uniform_color([1.0, 0, 0])
    outlier_cloud = pcd.select_by_index(inliers, invert=True)

    if geome_add == False:
        vis.add_geometry(inlier_cloud)
        vis.add_geometry(outlier_cloud)
        geome_add = True
    
    vis.update_geometry(inlier_cloud)
    vis.update_geometry(outlier_cloud)
    vis.poll_events()
    vis.update_renderer()

試したこと

1つイシューがありましたが、解決策と同様にsegment_plane内の数値を調整してみましたが、結果は変わらずでした。
一瞬、1枚目のフレームを処理した画像が表示される場合がありますが原因が不明です。

補足情報（FW/ツールのバージョンなど）

conda環境
open3dバージョン0.11.2
pythonバージョン3.8.3

Answer 1

Current directoryはどこでしょうか？
./pc_color.pcdは相対パスなのでこれでコケているかもしれません。

c:\users[ユーザー名]\desktop\pc_color.pcdにある場合に、

コケる例
c:\users[ユーザー名]> python sample.pyとすると同じエラーが出てコケました。

コケない例
c:\users[ユーザー名]\desktop> python sample.pyとするとコケずに通ります。

---

例えば、こんな感じのコードを先頭に入れるとCurrent directoryは解決できます。

import os

print("Current directory: ",os.getcwd())
os.chdir(os.path.dirname(__file__))
print("Current directory: ",os.getcwd())

Comments

[72me9]

ご教授ありがとうございます。
早速同様にコードを加えてみたところ、
[Open3D WARNING] [ReadPCDData] Failed to read data record.
[Open3D WARNING] Read PCD failed: unable to read data.
PCDデータの読み取りにも問題が発生してしまいました。
pcdデータとコードはcurrent directoryである同様のユーザー直下のフォルダに配置しております。
また、当初と同様のransac_n pointのエラーも発生しております。
読み取りエラーは、pcdデータを別コードにてリアルタイムで更新し続けていることが原因なのでしょうか。

[退会済みユーザー]

ransac_n の件は読み取り失敗で起きていると思います。
以下のコードを挟んではいかがでしょうか？

if os.path.exists(""./pc_color.pcd") is True:
____(従来の対応)
else:
____sys.exit()
少なくともデータがあればロードできるようになりますので読み取り失敗はなくなるはずです。読み取れているのにransac_nのエラーが出るのは謎ですね…。ほかの、例えば公開されているpcdファイルで試しても同じエラーが出ますか？

[72me9]

ご返信ありがとうございます。
ライブラリ内のpcdデータを用いたところ、動作しました…。
これはカメラ映像から生成したpcdデータに問題があるということでしょうか。
ループ処理でなく、1フレーム分のみの平面セグメンテーションでは問題なく動作するのですが…。

[退会済みユーザー]

私もPCDデータの専門家でないので何とも言えませんが、何かしらの方法で共有できるようでしたらもう少し力になれるかもしれません。

[72me9]

ご返信ありがとうございます。
こちらでさらに調査したところ、おっしゃる通り、取得したpcdデータに問題があり、扱えないものが混じっていたようです。
リアルタイムで取得した点群データをそのまま別プログラムにて表示を試してみたところ、動作はしているものの、動画のfpsが10ほどしかなく、
[Open3D WARNING] [ReadPCDData] Failed to read data record.
[Open3D WARNING] Read PCD failed: unable to read data.
が連続して出力されます。
そのため、カメラ映像から取得している点群データの中に、取り扱えないものが混じってしまっているようでした。
ですがwrite_point_cloud()で取得し、特に加工等は行っていないため、原因が不明です。
取り扱えるpcdデータのサイズや点群の個数などに制限があるようなことはありますでしょうか。。

[退会済みユーザー]

手元に同じ環境がないのと、PCDデータを扱わないので何とも言えませんが、よくあるパターンはUSB接続カメラの転送漏れみたいな原因でデータが破損する、です。転送規格的にUSB3.0でも十分早いのですし、だいぶ安定するとは思うのですが、複数カメラをつないで同時にキャプチャしたり、解像度を明一杯上げた状態で数十fpsでぶん回し続けたり、USBのタコ足をしていたり（電圧が不安定に）、ケーブルが長かったり（最悪データ転送異常に）が起きたりします。症状を見る限りプログラムの異常ではなさそうですので、カメラの型番 Open3D errorのようなキーワードで探ってはいかがでしょうか？

[72me9]

ご返信ありがとうございます。
高fpsで回しているので、それが原因かもしれません。。調整してみます。