Xamarin.FormsでOpenCVを使って顔認証がしたい（Android）

Question

前提・実現したいこと

Xamarin.FormsでOpenCVを使って顔認証をしたいと思っています。
Formsの必要がないといわれてしまうかもしれませんが、現時点ではAndroidのみの実装予定です。

Xamarin.FormsからDepencencyServiceを使ってXamarin.Androidに書いてあるC++の処理を呼び出すという流れで考えています。
カメラやギャラリーから画像を取得し、顔認識を行う関数の引数として取得した画像を送り、返り値として顔の位置が表示された画像（下の画像のような状態のもの）が返ってくるようなものにしたいと思っています。

![(b814c28bdf91ebe6aabd69ae43a7313c.jpeg)

C++の処理を.dllとしてビルドして、.dllをAndroidで参照するという流れまでは理解することができたのですが、そこで疑問が出てきたので質問させていただきます。

質問内容

こちらのようなC++のサンプルソースを関数として作成しAndroidでその処理を呼び出すことができるのか

C++のクラスライブラリをプロジェクトの中で作り、できた.dllファイルをそのまま参照しても問題ないのか

これらよりのことを行うことよりも簡単に実装することができるのか

Answer 1

これらよりのことを行うことよりも簡単に実装することができるのか

リアルタイムに、あるいは自力で、顔検出をしたいのではなければ、各社が出している WebAPI を使用した方が簡単かと思います。

• Face API - 顔認識ソフトウェア | Microsoft Azure
• 顔の検出  |  Google Cloud Vision API ドキュメント  |  Google Cloud
• 顔認識APIについての個人的まとめ2017年秋版 - Qiita

Answer 2

C/C++のライブラリをC#で呼ぶ方法は

• DllImport属性(System.Runtime.ExceptionServices名前空間)を使う
• C++/CLIによるラッパークラスを経由して呼び出す

の2種類があります。

CppSharpを使えばヘッダーファイルとライブラリファイルを解析をしてC++/CLI用のコードとC#用のコードを自動生成してくれます。C/C++の解析にClangを用いて実装されています。

以下はVista時代のVisual C++の流儀（前編）に掲載されているcounterクラスを以下に示します。

#ifndef COUNTER_H__
 #define COUNTER_H__

 class counter {
 private:
   int value_;
 public:
   counter();
   void increment();
   int value() const;
 };

 #endif

#include "counter.h"

 counter::counter() : value_(0) {
 }

 void counter::increment() {
   ++value_;
 }

 int counter::value() const {
   return value_;
 } 

それではcounterクラスを自動でラッピングしてくれるCppSharpによるC++/CLIのヘッダーファイルとソースファイルを生成されたソースコードを以下に示します。

// ----------------------------------------------------------------------------
// <auto-generated>
// This is autogenerated code by CppSharp.
// Do not edit this file or all your changes will be lost after re-generation.
// </auto-generated>
// ----------------------------------------------------------------------------
#pragma once

#include "CppSharp.h"
#include <../counter.h>

namespace CounterLib
{
    ref class Counter;
}

namespace CounterLib
{
    public ref class Counter : ICppInstance
    {
    public:

        property ::counter* NativePtr;
        property System::IntPtr __Instance
        {
            virtual System::IntPtr get();
            virtual void set(System::IntPtr instance);
        }

        Counter(::counter* native);
        static Counter^ __CreateInstance(::System::IntPtr native);
        Counter();

        Counter(CounterLib::Counter^ _0);

        ~Counter();

        !Counter();

        property int Value
        {
            int get();
        }

        void Increment();

        protected:
        bool __ownsNativeInstance;
    };
}

// ----------------------------------------------------------------------------
// <auto-generated>
// This is autogenerated code by CppSharp.
// Do not edit this file or all your changes will be lost after re-generation.
// </auto-generated>
// ----------------------------------------------------------------------------
#include "CounterWrapper.h"

using namespace System;
using namespace System::Runtime::InteropServices;

CounterLib::Counter::Counter(::counter* native)
    : __ownsNativeInstance(false)
{
    NativePtr = native;
}

CounterLib::Counter^ CounterLib::Counter::__CreateInstance(::System::IntPtr native)
{
    return gcnew ::CounterLib::Counter((::counter*) native.ToPointer());
}

CounterLib::Counter::~Counter()
{
    delete NativePtr;
}

CounterLib::Counter::!Counter()
{
    delete NativePtr;
}

CounterLib::Counter::Counter()
{
    __ownsNativeInstance = true;
    NativePtr = new ::counter();
}

void CounterLib::Counter::Increment()
{
    ((::counter*)NativePtr)->increment();
}

CounterLib::Counter::Counter(CounterLib::Counter^ _0)
{
    __ownsNativeInstance = true;
    if (ReferenceEquals(_0, nullptr))
        throw gcnew ::System::ArgumentNullException("_0", "Cannot be null because it is a C++ reference (&).");
    auto &__arg0 = *(::counter*)_0->NativePtr;
    NativePtr = new ::counter(__arg0);
}

System::IntPtr CounterLib::Counter::__Instance::get()
{
    return System::IntPtr(NativePtr);
}

void CounterLib::Counter::__Instance::set(System::IntPtr object)
{
    NativePtr = (::counter*)object.ToPointer();
}

int CounterLib::Counter::Value::get()
{
    auto __ret = ((::counter*)NativePtr)->value();
    return __ret;
}

あとは「共通言語ランタイム サポート (/clr)」「ダイナミック ライブラリ (.dll)」の設定への変更とスタティックライブラリへのパスを設定してビルドすればC#からでもVB/F#からでもこのcounterクラスを呼び出すことができます。

ILSpyというツールを使ってCounterを解析すると以下のようなC#のコードが生成されています。

using System;
using System.Runtime.ExceptionServices;
using System.Runtime.InteropServices;

namespace CounterLib
{
	public class Counter : ICppInstance, IDisposable
	{
		private unsafe counter* <backing_store>NativePtr;

		protected bool __ownsNativeInstance;

		public int Value
		{
			get
			{
				return <Module>.counter.value(this.<backing_store>NativePtr);
			}
		}

		public unsafe virtual IntPtr __Instance
		{
			get
			{
				IntPtr result = new IntPtr((void*)this.<backing_store>NativePtr);
				return result;
			}
			set
			{
				this.<backing_store>NativePtr = (counter*)value.ToPointer();
			}
		}

		public unsafe counter* NativePtr
		{
			get
			{
				return this.<backing_store>NativePtr;
			}
			set
			{
				this.<backing_store>NativePtr = value;
			}
		}

		public unsafe Counter(Counter _0)
		{
			this.__ownsNativeInstance = true;
			if (object.ReferenceEquals(_0, null))
			{
				throw new ArgumentNullException("_0", "Cannot be null because it is a C++ reference (&).");
			}
			counter* ptr = _0.<backing_store>NativePtr;
			counter* ptr2 = <Module>.@new(4u);
			counter* ptr3;
			if (ptr2 != null)
			{
				cpblk(ptr2, ptr, 4);
				ptr3 = ptr2;
			}
			else
			{
				ptr3 = null;
			}
			this.<backing_store>NativePtr = ptr3;
		}

		public unsafe Counter()
		{
			this.__ownsNativeInstance = true;
			counter* ptr = <Module>.@new(4u);
			counter* ptr2;
			try
			{
				if (ptr != null)
				{
					ptr2 = <Module>.counter.{ctor}(ptr);
				}
				else
				{
					ptr2 = 0;
				}
			}
			catch
			{
				<Module>.delete((void*)ptr, 4u);
				throw;
			}
			this.<backing_store>NativePtr = ptr2;
		}

		public unsafe Counter(counter* native)
		{
			this.__ownsNativeInstance = false;
			base..ctor();
			this.<backing_store>NativePtr = native;
		}

		public unsafe static Counter __CreateInstance(IntPtr native)
		{
			return new Counter((counter*)native.ToPointer());
		}

		private unsafe void ~Counter()
		{
			<Module>.delete((void*)this.<backing_store>NativePtr, 4u);
		}

		private unsafe void !Counter()
		{
			<Module>.delete((void*)this.<backing_store>NativePtr, 4u);
		}

		public void Increment()
		{
			<Module>.counter.increment(this.<backing_store>NativePtr);
		}

		[HandleProcessCorruptedStateExceptions]
		protected unsafe virtual void Dispose([MarshalAs(UnmanagedType.U1)] bool A_0)
		{
			if (A_0)
			{
				<Module>.delete((void*)this.<backing_store>NativePtr, 4u);
			}
			else
			{
				try
				{
					this.!Counter();
				}
				finally
				{
					base.Finalize();
				}
			}
		}

		public sealed override void Dispose()
		{
			this.Dispose(true);
			GC.SuppressFinalize(this);
		}

		protected override void Finalize()
		{
			this.Dispose(false);
		}
	}
}

Answer 3

画像をサーバに投げて、サーバ側で処理して返すのが、ツラミは少なそう。
応答速度的には、ネイティブで処理したほうが早そうだけど。

Answer 4

C#からC++のdllを呼び出すことは可能です。

https://qiita.com/ask/items/ee2ff5b8706effc0c3d8

C#版OpenCVはイマイチ使いづらいという話を聞いたことがあります。(ソースなし)
C++側でOpenCVをいろいろ操作して、結果だけC#側に返すのがやりやすいと思います。

Comments

[taichaso]

回答ありがとうございます。
考えていた方法で間違えなさそうなのでC#からC++の.dllを呼び出すことについて学習してみようと思います。