NaudioのMediaFoundationReader.Readで起こる例外について

Question

前提・実現したいこと

※スレッドに関して追記しました。

自作ツールでNaudioを使って音声データを扱っています。
メインスレッドで音声を読み込んでから、
A・音声データの読み込み直後(別スレッド)
B・Aの後にFFTの計算時(別スレッド)
C・波形データの描画(メインスレッド)
主にこの3つのタイミングでAudioFileReader.Readを行っています。
wav/mp3などの音声データでは問題ないのですが
mp4のような動画データから音声を読む際に、
A、BのReadは問題ないのにCのReadのタイミングで例外が発生してしまいます。
おそらくMediaFoundationReaderの扱いにどこか問題があるのではと思いますが
何なのか見当がつかないので、ヒントでもありましたら幸いです。

発生している問題・エラーメッセージ

例外がスローされました: 'System.InvalidCastException' (NAudio.dll の中)
System.InvalidCastException: 型 'System.__ComObject' の COM オブジェクトをインターフェイス型 'NAudio.MediaFoundation.IMFSourceReader' にキャストできません。IID '{70AE66F2-C809-4E4F-8915-BDCB406B7993}' が指定されたインターフェイスの COM コンポーネント上での QueryInterface 呼び出しのときに次のエラーが発生したため、この操作に失敗しました: インターフェイスがサポートされていません (HRESULT からの例外:0x80004002 (E_NOINTERFACE))。
   場所 System.StubHelpers.StubHelpers.GetCOMIPFromRCW(Object objSrc, IntPtr pCPCMD, IntPtr& ppTarget, Boolean& pfNeedsRelease)
   場所 NAudio.MediaFoundation.IMFSourceReader.SetCurrentPosition(Guid guidTimeFormat, IntPtr varPosition)
   場所 NAudio.Wave.MediaFoundationReader.Reposition(Int64 desiredPosition)
   場所 NAudio.Wave.MediaFoundationReader.Read(Byte[] buffer, Int32 offset, Int32 count)
   場所 NAudio.Wave.SampleProviders.Pcm16BitToSampleProvider.Read(Single[] buffer, Int32 offset, Int32 count)
   場所 NAudio.Wave.SampleProviders.MeteringSampleProvider.Read(Single[] buffer, Int32 offset, Int32 count)
   場所 NAudio.Wave.SampleProviders.VolumeSampleProvider.Read(Single[] buffer, Int32 offset, Int32 sampleCount)
   場所 NAudio.Wave.AudioFileReader.Read(Single[] buffer, Int32 offset, Int32 count)
   場所 SengiriWave.SoundStream.GetNextPeak(Int32 id, Int64 samplesperpeak, Boolean withrms) 場所 D:\VisualStudio\SengiriWave\SoundStream.cs:行 303
   場所 SengiriWave.DrawWave.PaintPeaksLines(SoundStream sound, Graphics graphics, Int32 skippx, Boolean withRMS) 場所 D:\VisualStudio\SengiriWave\DrawWave.cs:行 105
   場所 SengiriWave.MainWindow.wave_Paint(Object sender, PaintEventArgs e) 場所 D:\VisualStudio\SengiriWave\MainWindow - wave.cs:行 194

該当のソースコード

※追記　Winforms Form1クラスにコピペできる簡易版のスクリプトはこちらです：

	public partial class Form1 : Form
	{
		List<AudioFileReader> streams = new List<AudioFileReader>();
		int ch;
		long fullsamples;
		WaveFormat waveformat;
		long fullms;
		int block = 128;
		int fftLength = 128;
		
		public Form1()
		{
			InitializeComponent();

			streams.Add(new AudioFileReader(/*任意のメディアファイル*/));
			ch = streams[0].WaveFormat.Channels;
			fullsamples = (int)(streams[0].Length / streams[0].BlockAlign);
			waveformat = streams[0].WaveFormat;
			fullms = (int)(fullsamples * 1000 / waveformat.SampleRate);

			backgroundWorker1.RunWorkerAsync();
		}

		//Aの処理
		private void backgroundWorker1_DoWork(object sender, DoWorkEventArgs e)
		{
			BackgroundWorker control = (BackgroundWorker)sender;

			float[] write = new float[ch * 2];

			int block = this.block * 2;
			float[] sample = new float[block * ch];

			for (int x = 0; x < 3; x++)
			{
				var writer = new WaveFileWriter("tempshrink" + x + ".wav", streams[x].WaveFormat);
				streams[x].Position = 0;

				int read = streams[x].Read(sample, 0, block * ch);
				while (read != 0)
				{
					for (int b = 0; b < block; b++)
					{
						for (int c = 0; c < ch; c++)
						{
							int sampleindex = b * ch + c;
							if (b == 0)
							{
								write[c] = sample[sampleindex];
								write[c + ch] = sample[sampleindex];
							}
							else
							{
								write[c] = Math.Max(write[c], sample[sampleindex]);
								write[c + ch] = Math.Min(write[c + ch], sample[sampleindex]);
							}
						}
					}
					//書き込み
					for (int i = 0; i < write.Length; i++) writer.WriteSample(write[i]);

					read = streams[x].Read(sample, 0, block * ch);
				}
				writer.Dispose();
				streams.Add(new AudioFileReader("tempshrink" + x + ".wav"));
			}
		}

		private void backgroundWorker1_RunWorkerCompleted(object sender, RunWorkerCompletedEventArgs e)
		{
			backgroundWorker2.RunWorkerAsync();
		}

		//Bの処理
		private void backgroundWorker2_DoWork(object sender, DoWorkEventArgs e)
		{
			BackgroundWorker control = (BackgroundWorker)sender;

			AudioFileReader reader = streams[0];
			reader.Position = 0;

			int yoko = (int)(fullsamples / fftLength);
			int tate = fftLength / 2;
			int stride = (yoko % 4 == 0) ? yoko : (yoko / 4 + 1) * 4;
			byte[] result = new byte[stride * tate];
			byte[][] spec = new byte[yoko][];
			int m = (int)Math.Log(fftLength, 2);
			int bundle = 10;
			Complex[] buffer = new Complex[fftLength];
			int count = 0;

			int readoncelength = fftLength * ch * bundle;
			float[] sample = new float[readoncelength];

			while (reader.Read(sample, 0, readoncelength) != 0)
			{
				for (int i = 0; i < bundle; i++)
				{
					int timex = count * bundle + i;
					if (timex >= yoko) break;
					for (int r = 0; r < fftLength; r++)
					{
						int index = (i * fftLength + r) * ch;
						if (ch == 2) sample[index] = (sample[index] + sample[index + 1]) / 2;

						buffer[r].X = sample[index] * (float)FastFourierTransform.HammingWindow(r, fftLength);
						buffer[r].Y = 0.0f;
					}

					FastFourierTransform.FFT(true, m, buffer);

					spec[timex] = new byte[tate];

					for (int k = 0; k < tate; k++)
					{
						double diagonal = Math.Sqrt(buffer[k].X * buffer[k].X + buffer[k].Y * buffer[k].Y);
						double intensityDB = 10.0 * Math.Log10(diagonal);

						const double minDB = -50.0;
						double percent = (intensityDB < minDB) ? 1.0 : intensityDB / minDB;

						result[timex + (tate - 1 - k) * stride] = (byte)(255f * percent / 16);
						spec[timex][k] = (byte)(255f * percent);
					}
				}

				count++;
			}

			e.Result = result;
		}

		private void backgroundWorker2_RunWorkerCompleted(object sender, RunWorkerCompletedEventArgs e)
		{
			timer1.Enabled = true;
		}

		//Tickで描画させているという体
		private void timer1_Tick(object sender, EventArgs e)
		{
			float[] samples = new float[2];

			//ここで例外発生
			while (streams[0].Read(samples, 0, 2)!=0)
			{

			}
		}
	}

補足情報（FW/ツールのバージョンなど）

Visual Studio 2019
Naudio

Comments

[退会済みユーザー]

コードが長すぎるので、不具合を再現可能な必要最小限のコードに絞ってみた方がよいかと思われます。コピペで動作可能なくらい短いと、回答者が試しに実行する事も可能なので理想的です。
ファイルの種類が変わったら読み込めたということは、mp4の読み込みが上手くいってないようですが、単純にファイルを読み込んでwavで書き出すだけのコードを書いてみて、オーディオフォーマットや長さが正常に取得出来ているか確認してみた方がよいのではないでしょうか。

[hibin0bin0]

>ファイルの種類が変わったら読み込めたということは、mp4の読み込みが上手くいってないようですが
ファイルをAudioFileReaderに読み込み後にいずれもReadしているA、B、Cを実行しており、AとBで例外が発生していないので読み込み自体はできているという認識ですがいかがでしょうか。WaveFormatのサンプルレート・チャンネル数も取得できております。

後ほど時間ができましたら同じ現象を再現できるもっとシンプルなコードがお見せできるか確認いたします、アドバイスありがとうございます。

[退会済みユーザー]

ファイルを実際にオープンしている部分や、各処理がどのように呼び出されているかが提示されているコードからは不明なので何とも言えないのですが、A・BとCは別スレッドで動作させたりしていないでしょうか？

Answer 1

確証はないですが、Media Foundationを内部で使用しているのであれば、Media Foundationの一部のコンポーネントはCOMで実装されているので、スレッドのアパートメントが影響しているかもしれません。Media Foundation and COM より抜粋すると、

Media Foundation components cannot be STA objects. Many Media Foundation objects do not need to be COM objects at all. But if they are, they cannot run in the STA.

との事です。COMは複雑で私も完全に理解している訳ではないのですが、COMを使用するスレッドは、STAかMTAいずれかのアパートメントに属する必要があり、STAスレッドに属するCOMオブジェクトを他のスレッドからは操作出来なかったと思います。
アパートメントモデルと、.NETのSTAThreadAttribute
COMのアパートメント (6)　アパートメントの種類はどのように決まるのか
Thread.SetApartmentState(ApartmentState) メソッド

Comments

[hibin0bin0]

異なるスレッドからのアクセスについて考えるに至りませんでした。

いただいた情報についてかみ砕くにはもう少し時間はかかりそうですが、ヒントをいただき
A→B→Cで実行していたものを順番を入れ替えて
C→A→Bとしてみたところ　今度はAで例外が発生するようになったので
少なくとも今回の件に関しては最初にどのスレッドでデータをReadするかにポイントがありそうに見えました。
（本来ならこういうことを避けるために異なるスレッドで同じデータを参照するのは避けたほうがよさそう？なので自作ツールでは考慮して作り直してみることにします）

スレッドは最近触れたものなので勉強になりました、解決の糸口をありがとうございます。