画像をUDPで送りそれを受信する側でフォームに貼り付けるプログラムについて

Question

現在質問タイトルのようなプログラムを作っていて一応は動くようになったのですが、理想していたものとはかけ離れた状態に困惑しています。
完成イメージはマウスの動きを認識できるくらいスムーズに画像を変えていきたかったのですが、それ以前に一枚目もロクに表示できずかろうじて画面の上部分1/5くらいがフォームに表示される程度でした。
そして非常に重いです。これでは今後考えている機能追加にも困ります。ネットワークのプログラムを書くのは初めてなのですが、なぜこんなに重くなるのでしょうか。
またスムーズに画像を変えていくにはどんな風にプログラムを改変すればよいのか教えてください。

画像を撮って送るほうのプログラム

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Net;
using System.Net.Sockets;
using System.IO;

namespace ControlServer
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
            this.SendImage();
        }
        
        public async void SendImage()
        {
            while (true)
            {
                int cnt = 0;
                List<byte> bytelist = new List<byte>();
                IPEndPoint remote = new IPEndPoint(IPAddress.Parse("192.168.1.59"), 8000);
                byte[] imgbyte = ScreenCapture.CaptureBitmap();
                await Task.Delay(1000);

                Back : for (; cnt < imgbyte.Length; cnt++)
                {
                    try {
                        if (imgbyte.Length - cnt < 1300)
                        {
                            using (var client = new UdpClient(8001))
                            {
                                client.Connect(remote);
                                byte[] remain = imgbyte.Skip(cnt).Take(imgbyte.Length - cnt).ToArray();
                                await client.SendAsync(remain, remain.Length);
                            }
                            using (var client = new UdpClient(8001))
                            {
                                client.Connect(remote);
                                byte[] end = Encoding.UTF8.GetBytes("end");
                                await client.SendAsync(end, end.Length);
                            }
                            break;
                        }

                        if (bytelist.Count == 1300)
                        {
                            using (var client = new UdpClient(8001))
                            {
                                client.Connect(remote);
                                await client.SendAsync(bytelist.ToArray(), bytelist.ToArray().Length);
                            }
                            bytelist = new List<byte>();
                            await Task.Delay(10);
                        }
                        else
                        {
                            bytelist.Add(imgbyte[cnt]);
                        }
                    }
                    catch(Exception)
                    {
                        MessageBox.Show("エラー");
                        goto Back;
                    }
                }
            }
        }
    }

    // 画面をとりbyte配列にして返す
    static class ScreenCapture
    {
        public static byte[] CaptureBitmap()
        {
            byte[] byteimage;
            Bitmap bm = new Bitmap(Screen.PrimaryScreen.Bounds.Width, Screen.PrimaryScreen.Bounds.Height);

            using (var mms = new MemoryStream())
            {
                using (var graphics = Graphics.FromImage(bm))
                {
                    graphics.CopyFromScreen(new Point(0, 0), new Point(0, 0), bm.Size);
                    bm.Save(mms, System.Drawing.Imaging.ImageFormat.Jpeg);
                    byteimage = mms.GetBuffer();
                }

                mms.Close();
            }

            return byteimage;
        }
    }
}

受け取ってフォームに表示するプログラム

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Net;
using System.Net.Sockets;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace ControlClient
{
    public partial class Form1 : Form
    {
        private List<byte[]> ImageConnect { get; set; } = new List<byte[]>();

        public Form1()
        {
            InitializeComponent();
            this.ListenMessage();
        }

        public async void ListenMessage()
        {
            var local = new IPEndPoint(IPAddress.Any, 8000);
            var remote = new IPEndPoint(IPAddress.Any, 8000);
            var client = new UdpClient(local);

            while (true)
            {
                var recieve = await client.ReceiveAsync();
                byte[] result = recieve.Buffer;

                if (Encoding.UTF8.GetString(result) == "end") // endが送られてきたらbyte配列を全部送ったことに
                {
                    byte[] linking = null;

                    for(int i=0; i<this.ImageConnect.Count; i++) // List<byte[]>を1つのbyte[]でつなぎ合わせる
                    {
                        if(i == 0)
                        {
                            linking = Enumerable.Concat(this.ImageConnect[0], this.ImageConnect[1]).ToArray();
                        }
                        else
                        {
                            if (i + 1 > this.ImageConnect.Count-1) break;
                            linking = Enumerable.Concat(linking, this.ImageConnect[i + 1]).ToArray();
                        }
                    }
                    ImageConverter imgconv = new ImageConverter();
                    Image img = (Image)imgconv.ConvertFrom(linking); // byte配列をImageオブジェクトへ
                    this.OnRecieve(img);
                    this.ImageConnect = new List<byte[]>();
                }
                else
                {
                    this.ImageConnect.Add(result);
                }
            }
        }

        private void OnRecieve(Image img) // フォームのバックグラウンドイメージに
        {
            this.Width = img.Width + 5;
            this.Height = img.Height + 20;
            this.BackgroundImage = img;
        }
    }
}

Answer 1

まずは、データは圧縮しましょう。
次に各処理の時間を測って見ましょう。
ImageConnectはListよりも効率の良いものにしましょう。
毎回全フレームを送るのではなく、変化があった領域だけ送りましょう、

と言ってもまだまだ足りないので、、、
以下のコンポーネントなどの活用を考えましょう。

http://devlights.hatenablog.com/entry/20091120/p1

ところで、ループ処理も例えば以下のように改善が必要です。

for (; cnt < imgbyte.Length; 4096 )
{
sendsize = min( 4096, imagebyte.Length-cnt );
Array.Copy(imagebyte, cnt, sendBuffer, 0, sendsize);
cnt += sendsize;

sendBufferを送る
}
endを送る

udpを使う場合はデータの到達順序やデータが消えることなども考慮が必要です。画像を一枚送るだけでもそこそこコツが必要です、TCPを使った方が良いですね。

Comments

[kiritsugu]

tcpで上記のことを実践してみようと思います。ありごとうございました

[hikochang]

TCPすることで、遅くても画像は表示されるようになると思いますのでまずはそこを目指しましょう。
高速化については、転送量を少なくすることを考えましょう。