C言語　ネットワークプログラミング　selectの使い方

C言語プログラミング初心者です．
ネットワークプログラミングでわからないところがあり，また質問させていただきました．
前回質問したときよりも少し簡単なものを作ろうと思いました．
クライアントが一つに対し，複数のサーバがつながっているネットワークモデルでデータのやり取りを行いたいと考え，プログラミングしてみたのですが，selectの使い方が悪いのか上手く動作してくれません．
プログラムの内容としては複数のサーバーが同時に容量の大きいデータ（下記のコードでは１６０MB）を作成し，送信．クライアント側でselectを用いて受信し受信時間を計測．といった形で書いてみたつもりなのです．
しかし，サーバー１(172.168.0.2)，サーバー２(172.168.0.3)を起動した後，クライアント(172.168.0.1)を起動するとサーバー2のパケットは受信できたのですが，サーバー1で送信は完了するのですが，クライアント側ではサーバ１のデータ受信の計測時間が出力されず，強制終了と出力されてしまいます．

サーバー側

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <errno.h>


typedef struct {
    double deg;
    double dist;
}point;

//ダミーのデータを詰める
void makeData(int datanum,point *data){
    int i;
    double col,val;
    for(i=0;i<datanum;i++){

        col = (double)i;
        data[i].deg = col;

        val += 0.01;
        data[i].dist = val;
    }

    printf("%f %f\n",col,val);
}


int main()
{
    FILE *fpr;
    int sock0;
    struct sockaddr_in addr;
    struct sockaddr_in client;
    int len;
    int sock;
    int yes = 1;

    const static int DATANUM = 10000000;
    int i;

    point *pbuf;
    int res;



    //ソケットOpen 
    sock0 = socket(AF_INET, SOCK_STREAM, 0);
    addr.sin_family = AF_INET;
    addr.sin_port = htons(11111);
    addr.sin_addr.s_addr = INADDR_ANY;
    setsockopt(sock0, SOL_SOCKET, SO_REUSEADDR, (const char *)&yes, sizeof(yes));
    bind(sock0, (struct sockaddr *)&addr, sizeof(addr));
    listen(sock0, 5);
    len = sizeof(client);
    sock = accept(sock0, (struct sockaddr *)&client, &len);


    //point型の配列をDATNUMだけ確保。その中にデータを入れる。
    pbuf = (point *)malloc(sizeof(point)*DATANUM);
    makeData(DATANUM,pbuf); 

    /* サーバからデータを送信 */
    res = send(sock,pbuf,sizeof(point)*DATANUM,0);
    printf( "%d bytes sent, %s\n",res, strerror( errno ) );

    close(sock);
    close(sock0);

    free(pbuf);

    return 0;
}

クライアント

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <string.h>
#include <errno.h>
#include <math.h>
#include <time.h>


typedef struct {
    double deg;
    double dist;
}point;


typedef struct {
    int datanum; 
    point *meas; 
}frame;


void recvFrame(frame *f,int sock);
void recvFrame2(frame *f,int sock);

void recvFrame(frame *f,int sock){
    int i;
    int ret;
    int bytenum;
    int cur_pos = 0;
    char *rbuf;
    char *pbuf;
    point p1;
    struct timespec startTime, endTime;

    printf("sizeof(point)=%d\n",sizeof(point));

    bytenum = f->datanum * sizeof(point);
    printf("bytenum=%d\n",bytenum);

    f->meas = (point *)malloc(bytenum);
    rbuf = (char *)malloc(bytenum);
    pbuf = (char *)malloc(bytenum);


    clock_gettime(CLOCK_REALTIME, &startTime);

    while(bytenum > cur_pos){

        ret = recv(sock,rbuf,bytenum,0);

        memcpy(&(pbuf[cur_pos]),rbuf,ret);

        cur_pos += ret;
    }

    memcpy(f->meas,pbuf,bytenum);

    clock_gettime(CLOCK_REALTIME, &endTime);

    //printf("START  = %10ld.%09ld\n", startTime.tv_sec, startTime.tv_nsec);
    //printf(" END   = %10ld.%09ld\n", endTime.tv_sec, endTime.tv_nsec);
    printf("SOCK1 TIME   = ");
    if(endTime.tv_nsec < startTime.tv_nsec){
        printf("%10ld.%09ld", endTime.tv_sec -startTime.tv_sec - 1, endTime.tv_nsec + 1000000000 - startTime.tv_nsec);
    }else{
        printf("%10ld.%09ld",endTime.tv_sec - startTime.tv_sec, endTime.tv_nsec - startTime.tv_nsec);
    }
    printf("(sec)\n");

    free(pbuf);
    free(rbuf);
}

void recvFrame2(frame *f,int sock){
    int i;
    int ret;
    int bytenum;
    int cur_pos = 0;
    char *rbuf;
    char *pbuf;
    point p1;
    struct timespec startTime, endTime;

    printf("sizeof(point)=%d\n",sizeof(point));

    bytenum = f->datanum * sizeof(point);
    printf("bytenum=%d\n",bytenum);

    f->meas = (point *)malloc(bytenum);
    rbuf = (char *)malloc(bytenum);
    pbuf = (char *)malloc(bytenum);


    clock_gettime(CLOCK_REALTIME, &startTime);

    while(bytenum > cur_pos){

        ret = recv(sock,rbuf,bytenum,0);

        memcpy(&(pbuf[cur_pos]),rbuf,ret);

        cur_pos += ret;
    }

    memcpy(f->meas,pbuf,bytenum);

    clock_gettime(CLOCK_REALTIME, &endTime);

    //printf("START  = %10ld.%09ld\n", startTime.tv_sec, startTime.tv_nsec);
    //printf(" END   = %10ld.%09ld\n", endTime.tv_sec, endTime.tv_nsec);
    printf("SOCK2 TIME   = ");
    if(endTime.tv_nsec < startTime.tv_nsec){
        printf("%10ld.%09ld", endTime.tv_sec -startTime.tv_sec - 1, endTime.tv_nsec + 1000000000 - startTime.tv_nsec);
    }else{
        printf("%10ld.%09ld",endTime.tv_sec - startTime.tv_sec, endTime.tv_nsec - startTime.tv_nsec);
    }
    printf("(sec)\n");

    free(pbuf);
    free(rbuf);
}


int main()
{
    struct sockaddr_in server, server2;
    int sock,sock2;
    fd_set fds, readfds;
    int maxfd;
    int len, len2;
    int n;
    struct timeval tv;

    sock  = socket(AF_INET, SOCK_STREAM, 0);
    sock2 = socket(AF_INET, SOCK_STREAM, 0);

    server.sin_family = AF_INET;
    server.sin_port = htons(11111);
    server.sin_addr.s_addr = inet_addr("172.168.0.2");

    server2.sin_family = AF_INET;
    server2.sin_port = htons(22222);
    server2.sin_addr.s_addr = inet_addr("172.168.0.3");

    connect(sock, (struct sockaddr *)&server, sizeof(server));
    connect(sock2, (struct sockaddr *)&server2, sizeof(server2));

    FD_ZERO(&readfds);

    FD_SET(sock, &readfds);
    FD_SET(sock2, &readfds);

    tv.tv_sec = 10;
    tv.tv_usec = 0;

    if(sock > sock2){
        maxfd = sock;
    }else{
        maxfd = sock2;
    }

    frame f1,f2;
    f1.datanum = 10000000;
    f2.datanum = 10000000;

    while (1) {
        memcpy(&fds, &readfds, sizeof(fd_set));

        n = select(maxfd+1, &fds, NULL, NULL, &tv);

        if(n==0){
            printf("timeout\n");
            break;
        }

        if(FD_ISSET(sock, &fds)){
                recvFrame(&f1,sock);
        }

        if(FD_ISSET(sock2, &fds)){
                recvFrame2(&f2,sock2);
        }

    }

    close(sock);
    close(sock2);

    return 0;
}

selectの使い方がまずいのでしょうか？
どなたかお力添えよろしくお願いします．