UbuntuでC++を利用したNTPクライアントソフトの作成

ubuntuで動作するNTPクライアントソフトを作成したいです。
素人なりに調べてコードを組んでみたのですが、どうも受信してくれません。

#include <stdio.h>
#include <time.h>
#include <string.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <netdb.h>
#include <unistd.h>
#include <iostream>

using namespace std;

struct NTP_Packet{
	int Control_Word;
	int root_delay;
	int root_dispersion;
	int reference_identifier;
	int64_t reference_timestamp;
	int64_t originate_timestamp;
	int64_t receive_timestamp;
	int transmit_timestamp_seconds;
	int transmit_timestamp_fractions;
};

int main(int argc, char *argv[])
{
    int sock;
	struct sockaddr_in sockAddr;
	struct sockaddr_in serverSockAddr;
	struct NTP_Packet recvPack;

	sock = socket(PF_INET, SOCK_DGRAM, IPPROTO_UDP);
	perror("socket");

//受信側(ubuntu側)設定
	sockAddr.sin_family = AF_INET;
	sockAddr.sin_addr.s_addr = INADDR_ANY;
	sockAddr.sin_port = htons(49871);
	memset(&sockAddr, 0, sizeof(sockAddr));

	bind(sock, (struct sockaddr*)&sockAddr, sizeof(sockAddr));
	perror("bind");

//サーバー情報
	serverSockAddr.sin_family = AF_INET;
	serverSockAddr.sin_addr.s_addr = inet_addr("192.168.50.1");
	serverSockAddr.sin_port = htons(123);
	memset(&serverSockAddr, 0, sizeof(serverSockAddr));

//受信部
	int sockSize = sizeof(serverSockAddr);
	recvfrom(sock, (char *)&recvPack, sizeof(recvPack), 0, (struct sockaddr*)&serverSockAddr, (socklen_t *)&sockSize);
	perror("Recv");

    close(sock);

    return 0;
}

現状、bindまでは動作してくれて、
socket: Success
bind: Success
と出力をしてくれますが、recvfromの待機状態でずっと停止しています。
たぶん、しっかり接続できてなくて受信ができてないような気がするのですが、エラーも出ないためコードが悪いのか、環境の設定が悪いのかわからず困っています。

実行&開発環境
メインOS: Windows10
サブOS: ubuntu14.04（VirtualBox6.1使用）

また、サーバーはwindows内にあり、このサーバーは正確に動作しています。
windows-ubuntu間のpingは通り、udp等の通信なら問題なく動作します。