非同期でやり取りを行いたい

ターミナル上でチャットを行うプログラムです。
サーバ→クライアント→サーバの順でしかできないので、
任意の順番で送信、受信ができるようにしたいと思っています

c言語
1#include <stdio.h>
2#include <stdlib.h>
3#include <string.h>
4#include <unistd.h>
5#include <sys/types.h>
6#include <sys/socket.h>
7#include <netinet/in.h>
8#include <arpa/inet.h>
9#include <ctype.h>
10#include <stdlib.h> /* atoi()に必要 */
11#include <fcntl.h>
12#include <sys/file.h>
13
14
15int main(int argc, char *argv[])
16{
17    int i;
18    int srcSocket; //自分
19    int dstSocket; //相手
20    // sockaddr_in ポート 構造体
21    struct sockaddr_in srcAddr;
22    struct sockaddr_in dstAddr;
23    int dstAddrSize = sizeof(dstAddr);
24    unsigned short PORT;  /* サーバポート */
25    // 各種パラメータ
26
27    int numrcv;
28    int fileflags;
29    char buf[1024];
30    PORT =  atoi(argv[1]);
31    while (1)
32    {
33
34        memset(&srcAddr, 0, sizeof(srcAddr));
35        srcAddr.sin_family = AF_INET;
36        srcAddr.sin_addr.s_addr = INADDR_ANY;
37        srcAddr.sin_port = htons(PORT);
38
39        //ソケットの生成
40        if ((srcSocket = socket(AF_INET, SOCK_STREAM, 0)) < 0)
41        DieWithError("socket() failed");
42        //ソケットのバインド
43        if (bind(srcSocket, (struct sockaddr *)&srcAddr, sizeof(srcAddr)) < 0)
44        DieWithError("bind() failed");
45        //接続の許可
46        if (listen(srcSocket, 1) < 0)
47        DieWithError("listen() failed");
48
49
50
51        //接続待ち
52        printf("接続を待っています。\n");fflush(stdout);
53        if ((dstSocket = accept(srcSocket, (struct sockaddr *)&dstAddr, &dstAddrSize)) < 0)
54        DieWithError("accept() failed");
55        printf("%sから接続を受けました。\n", inet_ntoa(dstAddr.sin_addr));fflush(stdout);
56        close(srcSocket);
57
58        while (1)
59        {
60            //パケットの受信
61            if ((numrcv = recv(dstSocket, buf, 1024, 0)) < 0)
62            DieWithError("recv() failed");
63            printf("\x1b[41m");
64            printf("相手 %s\n", buf);
65            if(strcmp(buf,"bye") == 0){
66                printf("\x1b[39m");
67                break;
68            }
69            printf("\x1b[44m");
70            printf("自分 ");fflush(stdout);
71            scanf("%s", buf);
72            // パケットの送信
73            if ((send(dstSocket, buf, 1024, 0) != 1024))
74            DieWithError("send() failed");
75
76        }
77    close(srcSocket);
78    }
79    return (0);
80}
81