投稿2016/07/19 08:47
編集2016/08/27 15:46初心者です。
よろしくお願いいいたします。
早速ですが、私はC言語でWebスクレイピング・Webクローリングをしたいと思っております。
WebスクレイピングやWebクローリングについて自分自身、調べたりしたところ、PHPやpython、perl、ruby、shellscriptなどのスクリプト言語を用いるのが普通のようでした。
しかし、どうしてもC言語で実現したいと思っています。
どなたかC言語で、HTMLファイルの取得のやり方、Webスクレイピング・Webクローリングのやり方をご存知の方がいらっしゃいましたらご協力いただけませんでしょうか？
普通はスクリプト言語でやるものでC言語でやるメリットが一切分からないと言う意見も確かにあると思いますが、ここには記載することはできませんが、諸事情ありましてどうしてもC言語で実現せねばならなくなってしまいました。
私の知識はWebサイトがWebブラウザで閲覧することが可能なのは、WebブラウザがHTTPを用いて、WebサーバにHTMLファイルの送信を要求して、サーバがそのHTTPを受け取って、サーバがHTTPを用いてパソコンに通信を行ない、受け取ったHTMLファイルをWebブラウザが読み取って表示をしているということです。
ユーザーインタフェースなどは一切気にしません。
例えば、
gcc http.c
./a.out
と実行すると、
実行したパソコンの自分で指定したディレクトリにHTMLファイルが保存されるというものです。
これだけでは分からない部分もたくさんあると思います。
自分でも分からないことがたくさんあるので追記などで対応していきます。
どうかお助けください。
よろしくお願いいたします。
###追記(07/27)【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
皆様のアドバイスをもとにプログラムを書いています。
エラーの意味が分からず困っています。
写し間違いだと思うのですが、どこを間違えているのか、エラーの描いてあることがよく分かりません。
どなたか解説していただけませか。
そもそもコードが公開されているのであれば、それをコピーすればいいのかもしれませんが、少しでも理解して身につけたいと思い、コピペはせず、見ながら打ち込むようにしています。
効率が最悪かもしれませんが、親切な方がいらっしゃいましたら、このひよっこに暖かい手を差し伸べていただけないでしょうか。
また、効率の良いやり方・勉強法等をご存知の方がいらっしゃいましたら、併せて教えていただけましたら幸いです。
よろしくお願いいたします。
参考にさせて頂いたプログラム：[C言語] HTTPクライアントを作ってみる
C
1//syakyou.c 2 1 #include <stdio.h> 3 2 #include <string.h> 4 3 #include <stdlib.h> 5 4 #include <sys/types.h> 6 5 #include <netdb.h> 7 6 #include <netinet/in.h> 8 7 #include <sys/param.h> 9 8 #include <unistd.h> 10 9 11 10 #define BUF_LEN 256 12 11 13 12 struct URL { 14 13 char host[BUF_LEN]; 15 14 char path[BUF_LEN]; 16 15 char query[BUF_LEN]; 17 16 char fragment[BUF_LEN]; 18 17 unsigned short port; 19 18 }; 20 19 21 20 /** 22 21 * @param urlStr URLテキスト 23 22 */ 24 23 void parseURL(const char *urlStr, struct URL *url, char **error); 25 24 26 25 int main(int argc, char **argv) { 27 26 28 27 //ソケットのためのファイルディスクリプタ 29 28 int s; 30 29 31 30 //IPアドレスの解決 32 31 struct addrinfo hints, *res; 33 32 struct in_addr addr; 34 33 int err; 35 34 36 35 //サーバに送るHTTPプロトコル用バッファ 37 36 char send_buf[BUF_LEN]; 38 37 39 38 struct URL url1 = { 40 39 "css-eblog.com","/",80 41 40 }; 42 41 43 42 //URLが指定されていたら 44 43 if(argc>1){ 45 44 char *error = NULL; 46 45 parseURL(argv[1],&url,&error); 47 46 48 47 if(error){ 49 48 printf("%s/n",error); 50 49 return 1; 51 50 } 52 51 } 53 52 54 53 printf("http://%s%s%sを取得します。\n\n", url.host, url1.path, url.query); 55 54 56 55 //0クリア 57 56 memset(&hints, 0, sizeof(hints)); 58 57 hints.ai_socktype = SOCK_STREAM; 59 58 hints.ai_socktyoe = AF_INET; 60 59 61 60 char *serviceType = "http"; 62 61 63 62 if((err = getaddrinfo(url.host, serviceType, &hints, &res)) != 0) { 64 63 printf("error %d\n", err); 65 64 return 1; 66 65 } 67 66 68 67 //ソケット生成 69 68 if((s = socket(res->ai_family, res->ai_socktype, res->ai_protocol)) < 0) { 70 69 fprintf(stderr, "ソケットの作成に失敗しました。\n"); 71 70 return 1; 72 71 } 73 72 74 73 //サーバに接続 75 74 if(connect(s, res->ai_addr, res->ai_addrlen) != 0) { 76 75 fprintf(stderr, "connectに失敗しました。\n"); 77 76 return 1; 78 77 } 79 78 80 79 //HTTPプロトコルの開始 ＆サーバに送信 81 80 sprintf(send_buf, "GET %s%s HTTP/1.0\r\n", url.path, url.query); 82 81 write(s, send_buf, strlen(send_buf)); 83 82 84 83 sprintf(send_buf, "Host: %s:%d\r\n", url.host, url.path); 85 84 write(s, send_buf, strlen(send_buf)); 86 85 87 86 sprintf(send_buf, "\r\n"); 88 87 write(s, send_buf, strlen(send_buf)); 89 88 90 89 //受信が終わるまでループ 91 90 while(1){ 92 91 char buf[BUF_LEN]; 93 92 int read_size; 94 93 read_size = read(s, buf, BUF_LEN); 95 94 96 95 if(read_size > 0) { 97 96 write(1, buf, read_size); 98 97 } 99 98 else{ 100 99 break; 101100 } 102101 } 103102 104103 //ソケットを閉じる 105104 close(s); 106105 107106 return 0; 108107 } 109108 110109 111110 void parseURL(const char *urlStr, struct URL *url, char **error) { 112111 char host_path[BUF_LEN]; 113112 114113 if(strlen(urlStr) > BUF_LEN - 1) { 115114 *error = "URLが長すぎます。\n"; 116115 return; 117116 } 118117 119118 //http://から始まる文字列で 120119 //sscanfが成功して 121120 //http://のあとに何かの文字列が存在するなら 122121 if(strstr(urlStr, "http://") && 123122 sscanf(urlStr, "http://%s", host_path) && 124123 strcmp(urlStr, "http://")){ 125124 126125 char *p = NULL; 127126 128127 p = strchr(host_path, '#'); 129128 if(p != NULL){ 130129 strcpy(url->fragment, p); 131130 *p = '\0'; 132131 } 133132 134133 p = strchr(host_path, '?'); 135134 if(p != NULL){ 136135 strcpy(url->query, p); 137136 *p = '\0'; 138137 } 139138 140139 p = strchr(host_path, '/'); 141140 if(p != NULL){ 142141 strcpy(url->path, p); 143142 *p = '\0'; 144143 } 145144 146145 strcpy(url->host, host_path); 147146 148147 //ホスト名の部分に":"が含まれていたら 149148 p = strchr(url1->host, ':'); 150149 if(p != NULL){ 151150 //ポート番号を取得 152151 url->port = atoi(p + 1); 153152 154153 //数字ではない(atoiが失敗)か、0だったら 155154 //ポート番号は80に決め打ち 156155 if(url->port <= 0) { 157156 url->port = 80; 158157 } 159158 160159 //終端文字で空にする 161160 *p = '\0'; 162161 } 163162 else{ 164163 url->port = 80; 165164 } 166165 } 167166 else{ 168167 *error = "URLはhttp://host/pathの形式で指定してください。\n"; 169168 return; 170169 } 171170 }
###エラーコード【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
$ gcc -o syakyou syakyou.c
syakyou.c: In function ‘main’:
syakyou.c:45:21: error: ‘url’ undeclared (first use in this function)
parseURL(argv[1],&url,&error);
^
syakyou.c:45:21: note: each undeclared identifier is reported only once for each function it appears in
syakyou.c:58:7: error: ‘struct addrinfo’ has no member named ‘ai_socktyoe’
hints.ai_socktyoe = AF_INET;
^
syakyou.c: In function ‘parseURL’:
syakyou.c:148:14: error: ‘url1’ undeclared (first use in this function)
p = strchr(url1->host, ':');
^
###試したこと【vimdiff syakyou.c othon.cで解決いたしました】
otehon.cはコピペしたテキストプログラム
syakyou.cは見ながら写したプログラム
$ diff syakyou.c otehon.c
###結果【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
otehon.cはインデントが空白
syakyou.cはインデントがタブ
のため、差分の量が多過ぎて見分けがつかず、お手上げです。
重ね重ね申し訳ありません。
###追記(08/08)【打ち間違いに気がつき解決いたしました】
###warningが出て困っています。どなたか教えていただけないでしょうか【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
$ gcc syakyou.c
syakyou.c: In function ‘main’:
syakyou.c:83:20: warning: format ‘%d’ expects argument of type ‘int’, but argument 4 has type ‘char *’ [-Wformat=]
sprintf(send_buf, "Host: %s:%d\r\n", url.host, url.path); ^
です。
これはどういった意味なのでしょうか？
char型なのに %d にしているというということでしょうか？
###試したこと【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
Chironian様のアドバイスを元に
c
1 58 hints.ai_socktyoe = AF_INET; を 258 hints.ai_family = AF_INET; に打ち直しました。 3url1 を 4url に直しました。
よろしくお願いします。
また、コンパイル時に
errorやwarningがあった場合、皆様はどのように解決するときのヒントや初心者が犯しやすいミスがあれば教えていただけましたら幸いです。
###追記（2016/08/23）
参考にさせて頂いたプログラム：[C言語] HTTPクライアントを作ってみるを実行してみたのですが、以下のような実行結果が得られました。
なんだか少し違うような気がするのですが、
実行結果がうまくいっているのかの私では判断ができません。
自信がなく、よくわからず質問してしまって申し訳ありませんが、
この実行結果で正しいのでしょうか？
$ ./a.out http://css-eblog.com/P を取得します。 // http://css-eblog.com/Pを取得しているところが少し疑問です。 // http://css-eblog.comになるのではと思いますがどうなのでしょうか…？ HTTP/1.1 400 Bad Request Date: Sat, 27 Aug 2016 15:23:02 GMT Server: Apache/2.2.31 Content-Length: 226 Connection: close Content-Type: text/html; charset=iso-8859-1 <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> <html><head> <title>400 Bad Request</title> // http://css-eblog.com/Pだからそんなページはないと言われてしまう？ // http://css-eblog.comだったら検索できましたが // http://css-eblog.com/Pでは検索できませんでした。 </head><body> <h1>Bad Request</h1> <p>Your browser sent a request that this server could not understand.<br /> </p> </body></html>
自信がなく、よくわからず質問してしまい、恐縮ですが、
http://css-eblog.com/P になってしまう原因は何でしょうか？
どうすれば http://css-eblog.com になるでしょうか？
何卒、よろしくお願いします。
回答8件
0
libcurlを使うといいです。
投稿2016/07/19 08:50
総合スコア6621
0
自作ライブラリから。
wStringとはstringの互換ライブラリなのでstringで読み替えれば動くと思います。
ライブラリからの切り出しなんで不都合もあるかと思いますが、
おおむねこんな感じで動くと思います。
//--------------------------------------------------------------------------- //HTTPより文字列データを取得 //引数 // char* src :URL // off_t offset :読み込みオフセット //戻り値 // wString& :読み込んだ文字列。失敗したときは長さ０ //--------------------------------------------------------------------------- wString wString::HTTPGet(const char* url, off_t offset) { int recv_len; //読み取り長さ wString buf; wString ptr; wString host; //ホスト名 wString target; //ファイル名 int work1; int work2; int work3; SOCKET server_socket; //サーバーソケット int server_port = HTTP_SERVER_PORT; //出力ファイルの設定 // ================ // 実体転送開始 // ================ //準備 //アドレスから、ホスト名とターゲットを取得 ptr.SetLength(HTTP_STR_BUF_SIZE+1); buf = url; work1 = buf.Pos("://" )+3; work2 = buf.Pos("/", work1 ); work3 = buf.Pos(":",work1); target = buf.SubString(work2,buf.len-work2); if( work3 >= 0 ){ host = buf.SubString(work1,work3-work1); server_port = atoi(buf.c_str()+work3+1); }else{ host = buf.SubString(work1,work2-work1); } //ソケット作成と接続 server_socket = sock_connect(host.String, server_port); if ( server_socket > 0 ){ //HTTP1.0 GET発行 ptr.sprintf( "GET %s HTTP/1.0\r\n" "Accept: */*\r\n" "User-Agent: %s%s\r\nHost: %s\r\nRange: bytes=%llu-\r\nConnection: close\r\n\r\n" , target.String , //"Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)", USERAGENT, MACADDR, host.String, offset); //ptr.len = strlen(ptr.String); //サーバに繋がった if( send( server_socket, ptr.String, ptr.len , 0) != SOCKET_ERROR ){ //初回分からヘッダを削除 recv_len = recv(server_socket, ptr.String, ptr.Total()-1, 0); ptr.String[recv_len] = 0; ptr.len = recv_len; //見つからない work1 = atoi(ptr.String+(ptr.Pos(" ")+1)); if( work1 < 200 || 300 <= work1 ){ sClose(server_socket); return wString(); } //content_length = atoi(buf.String+buf.Pos("Content-Length:" )+16); //\r\n\r\nを探す work1 = ptr.Pos(HTTP_DELIMITER )+4;//sizeof( HTTP_DELIMITER );//実体の先頭 recv_len -= work1; buf = ptr.SubString(work1,recv_len); //転送する while(1){ recv_len = recv(server_socket, ptr.String, ptr.Total()-1, 0); if ( recv_len <= 0 ){ break; } //エラーにならない。 ptr.len = recv_len; ptr.String[recv_len] = 0; buf += ptr; } }else{ closesocket(server_socket); return wString(); } closesocket(server_socket); }else{ return wString(); } //終了 return wString(buf); }
投稿2016/07/19 09:37
総合スコア210
0
C言語でというのは標準ライブラリだけででしょうか、OSSライブラリを使うのはありなのでしょうか。
libcurlを使っていいのなら、こちらなど。
https://www.ibm.com/developerworks/jp/opensource/library/os-curl/
投稿2016/07/19 08:52
総合スコア5568
0
こんにちは。
回答依頼を頂きましたので、追記分について回答します。
syakyou.c: In function ‘main’:
syakyou.c:45:21: error: ‘url’ undeclared (first use in this function)
parseURL(argv[1],&url,&error);
^
url1という変数を定義してますが、urlという変数は定義していません。
名前を合わせましょう。
syakyou.c:45:21: note: each undeclared identifier is reported only once for each function it appears in
syakyou.c:58:7: error: ‘struct addrinfo’ has no member named ‘ai_socktyoe’
hints.ai_socktyoe = AF_INET;
^
タイプ・ミスと思います。
hints.ai_family = AF_INET;ではないでしょうか?
syakyou.c: In function ‘parseURL’:
syakyou.c:148:14: error: ‘url1’ undeclared (first use in this function)
p = strchr(url1->host, ':');
url1はmain()関数で定義されてます。parseURL()関数の仮引数名はurlですのでurlとすれば良いように思います。
投稿2016/07/27 06:16
総合スコア23272
0
上のものです。
せっかく書いたので、C言語に変換してかるく直してみました。
strcpy系の関数を使ってるので画像などは取れません。
linuxで動かすときは#define linuxと入れてください。includeも適宜直してください。動くんじゃないかなと思います。
（重ね重ねスミマセン)
#include <stdio.h> #include <winsock2.h> //--------------------------------------------------------------------------- #define HTTP_SERVER_PORT 80 #define HTTP_DELIMITER ("\r\n\r\n") #define USERAGENT "test-client" #ifdef linux #define SERROR(x) ((x) < 0 ) #else #define SERROR(x) ((x) == INVALID_SOCKET) #endif int sClose(SOCKET socket) { int ret; #ifdef linux ret = shutdown( socket , SD_BOTH ); ret = close(socket); #else ret = shutdown( socket , SD_BOTH ); ret = closesocket(socket); #endif return ret; } //--------------------------------------------------------------------------- SOCKET sock_connect(const char *host, const int port) { // int sock; SOCKET sock; struct sockaddr_in sockadd={0}; //ＳＯＣＫＥＴ構造体 struct hostent *hent; //ＳＯＣＫＥＴ作成 if (SERROR(sock = socket(PF_INET, SOCK_STREAM, 0))){ return INVALID_SOCKET; } if (NULL == (hent = gethostbyname(host))) { sClose( sock ); return INVALID_SOCKET; } //ソケット構造体へアドレス設定 memcpy(&sockadd.sin_addr, hent->h_addr, hent->h_length); //ソケット構造体へポート設定 sockadd.sin_port = htons((u_short)port); //ＩＰＶ４アドレスファミリを設定 sockadd.sin_family = AF_INET; //接続 if (SERROR(connect(sock, (struct sockaddr*)&sockadd, sizeof(sockadd)))) { sClose( sock ); return INVALID_SOCKET; } return sock; } //--------------------------------------------------------------------------- //HTTPより文字列データを取得 //引数 // char* src :URL // off_t offset :読み込みオフセット //戻り値 // wString& :読み込んだ文字列。失敗したときは長さ０ //--------------------------------------------------------------------------- #define HTTP_STR_BUF_SIZE (1024*100) #define BUFFER_SIZE (1024) char* HTTPGet(char* url, int offset) { int recv_len; //読み取り長さ static char buf[HTTP_STR_BUF_SIZE+1]; char* ptr[BUFFER_SIZE+1]; char host[80]; //ホスト名 char target[80]; //ファイル名 char* work1; char* work2; char* work3; int work4; int bufptr=0; SOCKET server_socket; //サーバーソケット int server_port = HTTP_SERVER_PORT; //出力ファイルの設定 // ================ // 実体転送開始 // ================ //buf = (char*)malloc(HTTP_BUF_SIZE); //ptr = buf; //準備 //アドレスから、ホスト名とターゲットを取得 strcpy((char*)ptr,url); work1 = strstr( (char*)ptr,"://")+3; work2 = strstr( work1, "/"); work3 = strstr( work2,":"); strcpy( target, work2 ); strcpy( host , work1 ); if( work3 ){ host[work3-work1] = 0; server_port = atoi(work3+1); }else{ host[work2-work1] = 0; } //ソケット作成と接続 server_socket = sock_connect(host, server_port); if ( ! SERROR(server_socket) ){ //HTTP1.0 GET発行 sprintf( (char*)ptr, "GET %s HTTP/1.0\r\n" "Accept: */*\r\n" "User-Agent: %s\r\nHost: %s\r\nRange: bytes=%llu-\r\nConnection: close\r\n\r\n" , target, USERAGENT, host, offset); //サーバに繋がった if( send( server_socket, (char*)ptr, strlen((char*)ptr) , 0) != SOCKET_ERROR ){ //初回分からヘッダを削除 recv_len = recv(server_socket, (char*)ptr, BUFFER_SIZE, 0); if( SERROR(recv_len) ){ return NULL; } ptr[recv_len] = 0; //サーバ上で見つからないときはNULL work4 = atoi(strstr((char*)ptr," ")+1); if( work4 < 200 || 300 <= work4 ){ sClose(server_socket); return NULL; } //\r\n\r\nを探す work1 = strstr( (char*)ptr, HTTP_DELIMITER )+4; recv_len -= (work1-(char*)ptr); strncpy( buf+bufptr, work1, recv_len); bufptr+=recv_len; buf[bufptr] = 0; //転送する while(1){ recv_len = recv(server_socket, (char*)ptr, BUFFER_SIZE, 0); if ( recv_len <= 0 ){ break; } //エラーにならない。 ptr[recv_len] = 0; strncpy( buf+bufptr, (char*)ptr, recv_len); bufptr+=recv_len; buf[bufptr] = 0; } sClose(server_socket); return buf; }else{ sClose(server_socket); return NULL; } } return NULL; } //--------------------------------------------------------------------------- int main(int argc, char* argv[]) { char* buffer; WSADATA wsa; WORD version = MAKEWORD(2, 0); WSAStartup(version, &wsa); buffer = HTTPGet("http://news.yahoo.co.jp/pickup/6208830",0); if( buffer && *buffer ){ FILE* ws = fopen( "temp.txt", "wb" ); fwrite( buffer, strlen(buffer), 1,ws ); fclose( ws ); }else{ puts( "can't get data"); } WSACleanup(); return 0; } //---------------------------------------------------------------------------
投稿2016/07/25 06:53
総合スコア210
0
流れを見ないで書いてみるけど
libcurl3-dev みたいな名前のパッケージが別途あって、
インクルードファイルやライブラリがそっちに入っている
なんとことはない？
ソース丸ごと落としてきてconfigureからやったほうが早かったりしない？
投稿2016/07/22 14:38
総合スコア487
0
curlに関して
「ヘッダーファイルが見当たらない」ということですが、もし適切にcurlライブラリがダウンロードされているのであれば、ヘッダファイルやライブラリファイルへのパスが通っていないと言うことだと思います。
http://qiita.com/edo_m18/items/a0073d81431bfd5681e2
上記のサイトを参考にし
-L/usr/local/opt/curl/lib -I/usr/local/opt/curl/include
「-I」コマンドでヘッダフォルダへのパスを
「-L」コマンドでlibcurlが入っているライブラリフォルダへのパスを
「-l」コマンドでライブラリファイル「curl」を指定してみてください。
また、余計なお世話かもしれませんが、一人一人にコメント一つ分のあいさつはしなくても大丈夫だと思いますよ。
投稿2016/07/22 11:15
総合スコア42
0
linux版です
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <sys/socket.h> #include <sys/types.h> #include <string.h> #include <netinet/in.h> #include <netdb.h> //--------------------------------------------------------------------------- #define HTTP_SERVER_PORT 80 #define HTTP_DELIMITER ("\r\n\r\n") #define USERAGENT "test-client" #define SOCKET int #define SD_WRITE SHUT_WR #define SD_READ SHUT_RD #define SD_BOTH SHUT_RDWR #define INVALID_SOCKET (-1) #define SOCKET_ERROR (-1) #ifdef linux #define SERROR(x) ((x) < 0 ) #else #define SERROR(x) ((x) == INVALID_SOCKET) #endif int sClose(SOCKET socket) { int ret; #ifdef linux ret = shutdown( socket , SD_BOTH ); ret = close(socket); #else ret = shutdown( socket , SD_BOTH ); ret = closesocket(socket); #endif return ret; } //--------------------------------------------------------------------------- SOCKET sock_connect(const char *host, const int port) { // int sock; SOCKET sock; struct sockaddr_in sockadd={0}; //ＳＯＣＫＥＴ構造体 struct hostent *hent; //ＳＯＣＫＥＴ作成 if (SERROR(sock = socket(PF_INET, SOCK_STREAM, 0))){ return INVALID_SOCKET; } if (NULL == (hent = gethostbyname(host)) ) { sClose( sock ); return INVALID_SOCKET; } //ソケット構造体へポート設定 sockadd.sin_port = htons((u_short)port); //ＩＰＶ４アドレスファミリを設定 sockadd.sin_family = AF_INET; //ソケット構造体へアドレス設定 memcpy(&sockadd.sin_addr, hent->h_addr, hent->h_length); //接続 if (SERROR(connect(sock, (struct sockaddr*)&sockadd, sizeof(sockadd)))) { sClose( sock ); return INVALID_SOCKET; } return sock; } //--------------------------------------------------------------------------- //HTTPより文字列データを取得 //引数 // char* src :URL // off_t offset :読み込みオフセット //戻り値 // wString& :読み込んだ文字列。失敗したときは長さ０ //--------------------------------------------------------------------------- #define HTTP_STR_BUF_SIZE (1024*100) #define BUFFER_SIZE (1024) char* HTTPGet(char* url, size_t offset) { int recv_len; //読み取り長さ static char buf[HTTP_STR_BUF_SIZE+1]; char* ptr[BUFFER_SIZE+1]; char host[80]; //ホスト名 char target[80]; //ファイル名 char* work1; char* work2; char* work3; int work4; int bufptr=0; SOCKET server_socket; //サーバーソケット int server_port = HTTP_SERVER_PORT; //出力ファイルの設定 // ================ // 実体転送開始 // ================ //buf = (char*)malloc(HTTP_BUF_SIZE); //ptr = buf; //準備 //アドレスから、ホスト名とターゲットを取得 strcpy((char*)ptr,url); work1 = strstr( (char*)ptr,"://")+3; work2 = strstr( work1, "/"); work3 = strstr( work2,":"); strcpy( target, work2 ); strcpy( host , work1 ); if( work3 ){ host[work3-work1] = 0; server_port = atoi(work3+1); }else{ host[work2-work1] = 0; } //ソケット作成と接続 server_socket = sock_connect(host, server_port); if ( ! SERROR(server_socket) ){ //HTTP1.0 GET発行 sprintf( (char*)ptr, "GET %s HTTP/1.0\r\n" "Accept: */*\r\n" "User-Agent: %s\r\nHost: %s\r\nRange: bytes=%lu-\r\nConnection: close\r\n\r\n" , target, USERAGENT, host, offset); //サーバに繋がった if( send( server_socket, (char*)ptr, strlen((char*)ptr) , 0) != SOCKET_ERROR ){ //初回分からヘッダを削除 recv_len = recv(server_socket, (char*)ptr, BUFFER_SIZE, 0); if( SERROR(recv_len) ){ return NULL; } ptr[recv_len] = 0; //サーバ上で見つからないときはNULL work4 = atoi(strstr((char*)ptr," ")+1); if( work4 < 200 || 300 <= work4 ){ sClose(server_socket); return NULL; } //\r\n\r\nを探す work1 = strstr( (char*)ptr, HTTP_DELIMITER )+4; recv_len -= (work1-(char*)ptr); strncpy( buf+bufptr, work1, recv_len); bufptr+=recv_len; buf[bufptr] = 0; //転送する while(1){ recv_len = recv(server_socket, (char*)ptr, BUFFER_SIZE, 0); if ( recv_len <= 0 ){ break; } //エラーにならない。 ptr[recv_len] = 0; strncpy( buf+bufptr, (char*)ptr, recv_len); bufptr+=recv_len; buf[bufptr] = 0; } sClose(server_socket); return buf; }else{ printf( "Can not connect to %s\n",url); sClose(server_socket); return NULL; } } return NULL; } //--------------------------------------------------------------------------- int main(int argc, char* argv[]) { char* buffer; buffer = HTTPGet((char*)"http://www.birdland.co.jp/",0); if( buffer && *buffer ){ FILE* ws = fopen( "temp.txt", "wb" ); fwrite( buffer, strlen(buffer), 1,ws ); fclose( ws ); }else{ puts( "can't get data"); } return 0; } //---------------------------------------------------------------------------
投稿2016/08/22 23:51
総合スコア210
あなたの回答
tips
プレビュー
Q&A
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2016/07/19 09:03
2016/07/22 05:52