質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.60%

Xamarin.Forms + iOSでカメラキャプチャした画像が表示されない。

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 211

ikarimame

score 28

困っていること

Xamarin.Forms+iOSでAVFoundationを使い画像をキャプチャしておりますが、画像が表示されずに困っております。

ソースコード

MainPage.xaml

<?xml version="1.0" encoding="utf-8"?>
<ContentPage xmlns="http://xamarin.com/schemas/2014/forms" xmlns:x="http://schemas.microsoft.com/winfx/2009/xaml" x:Class="CameraTest.MainPage">
    <Grid>
        <Grid.RowDefinitions>
            <RowDefinition Height="64"/>
            <RowDefinition Height="*"/>
            <RowDefinition Height="64"/>
        </Grid.RowDefinitions>
        <Grid.ColumnDefinitions>
            <ColumnDefinition Width="64"/>
            <ColumnDefinition Width="*"/>
            <ColumnDefinition Width="64"/>
        </Grid.ColumnDefinitions>
        <Image Grid.Row="1" Grid.Column="1" Source="{Binding CapImg}"/>
    </Grid>
</ContentPage>

MainPage.cs

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Xamarin.Forms;

namespace CameraTest
{
    public partial class MainPage : ContentPage
    {
        public MainPage()
        {
            BindingContext = new MainPageVM();

            InitializeComponent();
        }
    }
}

MainPageVM.cs

using System;
using System.ComponentModel;
using Xamarin.Forms;

namespace CameraTest
{
    public class MainPageVM : INotifyPropertyChanged
    {
        public event PropertyChangedEventHandler PropertyChanged;
        public void FirePropertyChangedEvent(string propname)
        {
            if (PropertyChanged != null)
            {
                PropertyChanged(this, new PropertyChangedEventArgs(propname));
            }
        }

        public MainPageVM()
        {
            if (CameraControl == null)
                CameraControl = DependencyService.Get<ICameraControl>();
            CameraControl.Initialize();
            CameraControl.CaptureCameraImage += CaptureCameraImage;
            CameraControl.CaptureStart();
        }

        public static ICameraControl CameraControl { get; set; }

        private ImageSource _capimg = null;
        public ImageSource CapImg
        {
            get { return _capimg; }
            set
            {
                _capimg = value;
                FirePropertyChangedEvent("CapImg");
            }
        }

        private bool CaptureCameraImage(ImageSource image)
        {
            CapImg = image;
            return true;
        }

    }
}

ICameraControl.cs

using System;
using Xamarin.Forms;

namespace CameraTest
{
    public delegate bool CaptureCameraImageDelegate(ImageSource image);
    public interface ICameraControl
    {
        CaptureCameraImageDelegate CaptureCameraImage { get; set; }
        void Initialize();
        bool CaptureStart();
        bool CaptureStop();
    }
}

CameraTest.iOSプロジェクト

CameraControl_iOS.cs

using System;
using AVFoundation;
using CoreFoundation;
using CoreGraphics;
using CoreMedia;
using CoreVideo;
using Foundation;
using UIKit;
using Xamarin.Forms;

[assembly: Dependency(typeof(CameraTest.iOS.CameraControl_iOS))]
namespace CameraTest.iOS
{
    public class CameraControl_iOS : AVCaptureVideoDataOutputSampleBufferDelegate, ICameraControl
    {
        public CameraControl_iOS()
        {
        }

        private AVCaptureSession captureSession = null;

        public CaptureCameraImageDelegate CaptureCameraImage { get; set; }

        public bool CaptureStart()
        {
            if (captureSession == null) return false;
            captureSession.StartRunning();
            return true;
        }

        public bool CaptureStop()
        {
            if (captureSession == null) return false;
            captureSession.StopRunning();
            return true;
        }

        public void Initialize()
        {
            NSError error;

            captureSession = new AVCaptureSession();
            captureSession.SessionPreset = AVCaptureSession.PresetHigh;

            var videoDevice = AVCaptureDevice.GetDefaultDevice(AVMediaType.Video);
            if (videoDevice == null)
                throw new Exception("Video recording not supported on this device");

            if (!videoDevice.LockForConfiguration(out error))
            {
                Console.WriteLine(error.LocalizedDescription);
                videoDevice.UnlockForConfiguration();
                return;
            }
            videoDevice.ActiveVideoMinFrameDuration = new CMTime(1, 30);
            videoDevice.UnlockForConfiguration();

            // get input
            var input = AVCaptureDeviceInput.FromDevice(videoDevice);
            if (input == null)
            {
                // Error, report and abort
                Console.WriteLine("Unable to gain input from capture device.");
                return;
            }
            captureSession.AddInput(input);
            //foreach (var i in captureSession.Inputs) Console.WriteLine(i.ToString());

            // crate output
            var output = new AVCaptureVideoDataOutput();
            var settings = new AVVideoSettingsUncompressed();
            settings.PixelFormatType = CVPixelFormatType.CV32BGRA;
            output.WeakVideoSettings = settings.Dictionary;

            var queue = new DispatchQueue("myQueue");
            output.SetSampleBufferDelegateQueue(this, queue);
            captureSession.AddOutput(output);
            //foreach (var o in captureSession.Outputs) Console.WriteLine(o.ToString());
        }

        public override void DidOutputSampleBuffer(AVCaptureOutput captureOutput, CMSampleBuffer sampleBuffer, AVCaptureConnection connection)
        {
            try
            {
                if (CaptureCameraImage != null)
                {
                    using (var image = GetImageFromSampleBuffer(sampleBuffer))
                    using (var stream = image.AsPNG().AsStream())
                    {
                        var dst = ImageSource.FromStream(() => { return stream; });
                        CaptureCameraImage(dst);
                    }
                }
                //base.DidOutputSampleBuffer(captureOutput, sampleBuffer, connection);
            }
            catch (Exception e)
            {
                Console.WriteLine(e.ToString());
            }
            finally
            {
                sampleBuffer.Dispose();
            }
        }

        private UIImage GetImageFromSampleBuffer(CMSampleBuffer sampleBuffer)
        {
            using (var pixelBuffer = sampleBuffer.GetImageBuffer() as CVPixelBuffer)
            {
                pixelBuffer.Lock(CVPixelBufferLock.None);
                CGBitmapFlags flags = CGBitmapFlags.PremultipliedFirst | CGBitmapFlags.ByteOrder32Little;
                using (var cs = CGColorSpace.CreateDeviceRGB())
                {
                    using (var context = new CGBitmapContext(pixelBuffer.BaseAddress,
                        pixelBuffer.Width,
                        pixelBuffer.Height,
                        8,
                        pixelBuffer.BytesPerRow,    
                        cs,
                        flags))
                    {
                        using (var cgImage = context.ToImage())
                        {
                            pixelBuffer.Unlock(CVPixelBufferLock.None);
                            return UIImage.FromImage(cgImage);
                        }
                    }
                }
            }
        }
    }
}

試したこと

CameraControl_iOS.csのDidOutputSampleBuffer()のコードを以下のように変更すると表示されるのですが、その場合StreamをDisposeすることが出来ません。

        public override void DidOutputSampleBuffer(AVCaptureOutput captureOutput, CMSampleBuffer sampleBuffer, AVCaptureConnection connection)
        {
            try
            {
                if (CaptureCameraImage != null)
                {
                    using (var image = GetImageFromSampleBuffer(sampleBuffer))
                    {
                        var stream = image.AsPNG().AsStream();
                        var dst = ImageSource.FromStream(() => { return stream; });
                        CaptureCameraImage(dst);
                    }
                }
                //base.DidOutputSampleBuffer(captureOutput, sampleBuffer, connection);
            }
            catch (Exception e)
            {
                Console.WriteLine(e.ToString());
            }
            finally
            {
                sampleBuffer.Dispose();
            }
        }

どのように実装すべきなのでしょうか?

環境

macOS Catalina v10.15.7
Visual Studio for mac v8.7.8(build 4)
Xcode v12.0.1(12A7300)

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

ImageSource.FromStreamで渡したコールバックで返すStreamは、Imageビューで表示した際にDisposeされるので、気にする必要はありません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/10/20 11:44

    なるほど、Imageで表示した際にDisposeされるということでusingを利用するのをやめました。

    所で、表示した際にDisposeされるというのと関係があるのかわからないのですが、ImageSource.FromStreamで取得したImageSourceを複数のImageに設定した場合、先に設定したImageにのみ画像が表示され、あとで設定したImageには画像が表示されなかったり、先に設定した方のImageがちらついて表示されたりして困っております。

    Imageで表示された際にDispoeされることが問題なのかと思い、新たなMemoryStreamにCopyToしてみたりもしましたが、やはり画像は表示されませんでした。

    最終的にはキャプチャした画像、それに画像処理をかけた結果の画像というように並べて表示したいと思っておりますが、なぜCopyしたStreamの画像は表示されないのでしょうか?

    キャンセル

  • 2020/10/20 12:13

    申し訳ありません
    上記の件よく確認しましたところ、私のコードにミスがありました。
    新たなMemoryStreamにCopyToしたうえでそれぞれImageに割り当てる分には問題なく画像が表示できました。
    ありがとうございます

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.60%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る