Swift ARKitで空間の座標を取得し、それをiPhoneの画面内での座標に変換したい。

Question

前提・実現したいこと

ARKitを使ってアプリを作っています。
ARFaceTrackingConfigurationで顔を映し、

let noseVertexID  = 7
let noseVertex = faceAnchor.geometry.vertices[noseVertexID]
nose.position = SCNVector3(noseVertex)

で鼻のワールド座標を返せるようになりました。
このとき、iphoneの画面内の鼻の座標を取得したいです。

最終的にやりたいことは、
画面内である範囲を指定し、その範囲の中に鼻が入っているかどうかを判断することです。

試したこと

func getScreenPointfromARPos(sceneView:ARSCNView , pos:SCNVector3) -> (x: Float, y: Float){
    let screenPos = sceneView.projectPoint(pos)
    return (screenPos.x, screenPos.z)
}

という関数を作成し、

let point = getScreenPointfromARPos(sceneView: sceneView,pos: nose.position)
            
testLabel1.text = "point:x (point.x)"
testLabel2.text = "point:y (point.y)"

というふうに使ってみました。
point.xとpoint.yで値は表示されるのですが、画面内に表示されている位置と値が合っていないような気がします。
たとえば、
view.frame.widthで画面の横サイズは414と分かったのですが、
point.xでは500やマイナスの値をとったりします。
画面上では同じあたりに鼻があっても、角度を変えたりすると値が大きく変わります。

わからないこと

ワールド座標をスクリーン座標に変換した値は、
iPhoneの画面内に表示されている(x, y)の位置とは違うのでしょうか。

よろしくお願いします。

Answer 1

以下参考記事に記載のあるメソッドを利用すると、ワールド座標をスクリーン座標系に変換できそうです。
（少し試した感じだと近い値が取れていた様に思います）

・参考記事（「ワールド座標系 -> スクリーン座標系」 の項目参照）
ARKitのための3D数学

・メソッド

func projectPoint(_ point: SCNVector3) -> SCNVector3

・参考例（ARSCNViewDelegateの"didUpdate"内に記載）

func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor) {
	
	guard let faceAnchor = anchor as? ARFaceAnchor else { return }
	
	let worldPosition = "対象のSCNNode".position

        // "sceneView"は、利用しているARSCNViewの変数に適宜置き換える
	let positionOnScreen = sceneView.projectPoint(worldPosition)
	let x = positionOnScreen.x
	let y = positionOnScreen.y
	
	print("--------------------")
	print("x: (x)")
	print("y: (y)")
}

Comments

[ccchogeee]

コメントありがとうございます！！
わたしも、
func projectPoint(_ point: SCNVector3) -> SCNVector3
を使って、同じようにワールド座標をスクリーン座標にしていました！
（上の質問内では、
func getScreenPointfromARPos(sceneView:ARSCNView , pos:SCNVector3) -> (x: Float, y: Float)
{
let screenPos = sceneView.projectPoint(pos)
return (screenPos.x, screenPos.z)
}
を作成して使っていました！）
しかし、view.frame.widthで出される画面の位置？とは、なんだかずれているように思い、、、
xcodeではiphone11を設定して使っており、
view.frame.widthで画面の幅が414、view.frame.heightで高さが896と分かりました。
UIimageview等も、この数値にしたがって配置できます。
しかし、スクリーン座標に変換した値をみてみると、端は(0, 0)とはならず、時にはマイナス、x軸方向に500を超える値が出てきたりします。
画面のサイズ（view.frame.widthで出される値）と、スクリーン座標系とは何かスケール？が違っているのでしょうか、、、

うまく伝わっていなかったら申し訳ありません！！！

[ccchogeee]

すみません、ご回答的には上記の方法で問題なく変換できているということですよね、、、！
ありがとうございます、、、！！

[tsuki01]

>わたしも、
>func projectPoint(_ point: SCNVector3) -> SCNVector3
>を使って、同じようにワールド座標をスクリーン座標にしていました！

上記に関して大変失礼いたしました。見落としておりました。

こちらは3Dオブジェクト(SCNNode)から位置を算出していたのでマイナスの値とかが出なかったかもしれませんね（質問者さんはフェイスメッシュの位置情報から値を変換していますが、何か違いがあるのかどうか。。）
正確な回答が出せるか分からなくて申し訳ないのですが、念の為 "noseVertexID" としている値を質問文に追記できたりしますでしょうか？（鼻のあたりであれば、8〜9とかの値でしょうか）

[ccchogeee]

お返事ありがとうございます！
let noseVertexID = 7
としてあります！鼻のてっぺんあたりです！追記もしておきます！

鼻のてっぺんが、画面内の指定した範囲内にあるかどうかを判断したいと思っていて、
画面内でのその(x, y)がわかればいいなと思っていますmm
よろしくお願いします。

[tsuki01]

「faceAnchor.geometry.vertices[noseVertexID]」から取得した位置情報をそのまま使おうとすると、やはり想定した動きにならないですね。。（お昼にコメントした様に、単純な3Dオブジェクトの位置情報からなら想定した動きになる）
なので、geometryから位置情報を取得する時は何かしらの変換作業が必要なのかもしれません。

※以下リンク先で書かれている様なことをSwiftで置き換えれたら実現可能かもしれませんが、私には直ぐに理解できそうになく。。回答しておいて解決できずに大変申し訳ありません。

・参考リンク
https://ringsbell.blog.fc2.com/blog-entry-1277.html

[ccchogeee]

いろいろ考えていただきありがとうございます！
サイト、みてみます！