トップに関する質問 C言語でHTTP通信でHTMLファイルを取得し、保存することは可能でしょうか？C言語でクローリングがしたいです。

編集履歴

質問編集履歴

修正

2016/08/27 15:46

投稿

dlrowolleh

スコア120

test CHANGED Viewed

	@@ -1 +1 @@
1	- C言語でHTTP通信でHTMLファイルを取得し、保存することは可能でしょうか？
1	+ C言語でHTTP通信でHTMLファイルを取得し、保存することは可能でしょうか？C言語でクローリングがしたいです。

test CHANGED Viewed

@@ -4,7 +4,7 @@
-早速ですが、私はC言語でWebスクレイピング・クWebローリングをしたいと思っております。
+早速ですが、私はC言語でWebスクレイピング・Webクローリングをしたいと思っております。

追記

2016/08/27 15:46

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -543,3 +543,79 @@
 また、コンパイル時に
 errorやwarningがあった場合、皆様はどのように解決するときのヒントや初心者が犯しやすいミスがあれば教えていただけましたら幸いです。
+###追記（2016/08/23）
+実行結果がうまくいっていないような気がします。
+---
+参考にさせて頂いたプログラム：[[C言語] HTTPクライアントを作ってみる](http://qiita.com/edo_m18/items/cef278d0c14d1371db3b)を実行してみたのですが、以下のような実行結果が得られました。
+なんだか少し違うような気がするのですが、
+実行結果がうまくいっているのかの私では判断ができません。
+自信がなく、よくわからず質問してしまって申し訳ありませんが、
+この実行結果で正しいのでしょうか？
+```
+$ ./a.out
+http://css-eblog.com/P を取得します。    // http://css-eblog.com/Pを取得しているところが少し疑問です。
+                                            // http://css-eblog.comになるのではと思いますがどうなのでしょうか…？
+HTTP/1.1 400 Bad Request
+Date: Sat, 27 Aug 2016 15:23:02 GMT
+Server: Apache/2.2.31
+Content-Length: 226
+Connection: close
+Content-Type: text/html; charset=iso-8859-1
+<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
+<html><head>
+<title>400 Bad Request</title>              // http://css-eblog.com/Pだからそんなページはないと言われてしまう？
+                                            // http://css-eblog.comだったら検索できましたが
+                       // http://css-eblog.com/Pでは検索できませんでした。
+</head><body>
+<h1>Bad Request</h1>
+<p>Your browser sent a request that this server could not understand.<br />
+</p>
+</body></html>
+```
+自信がなく、よくわからず質問してしまい、恐縮ですが、
+http://css-eblog.com/P になってしまう原因は何でしょうか？
+どうすれば http://css-eblog.com になるでしょうか？
+何卒、よろしくお願いします。

追記

2016/08/27 15:44

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -64,7 +64,7 @@
 ---
-###追記(07/27)
+###追記(07/27)【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
 皆様のアドバイスをもとにプログラムを書いています。
@@ -442,7 +442,7 @@
 ```
-###エラーコード
+###エラーコード【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
 > $ gcc -o syakyou syakyou.c
@@ -472,7 +472,7 @@
-###試したこと
+###試したこと【vimdiff syakyou.c othon.cで解決いたしました】
 otehon.cはコピペしたテキストプログラム
@@ -482,7 +482,7 @@
-###結果
+###結果【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
 otehon.cはインデントが空白
@@ -496,9 +496,9 @@
 ---
-###追記(08/08)
+###追記(08/08)【打ち間違いに気がつき解決いたしました】
-###warningが出て困っています。どなたか教えていただけないでしょうか
+###warningが出て困っています。どなたか教えていただけないでしょうか【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】
 > $ gcc syakyou.c
@@ -518,7 +518,7 @@
-###試したこと
+###試したこと【vimdiff syakyou.c othon.cで打ち間違いに気がつき解決いたしました】

追記

2016/08/27 15:14

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -491,3 +491,55 @@
 のため、差分の量が多過ぎて見分けがつかず、お手上げです。
 重ね重ね申し訳ありません。
+---
+###追記(08/08)
+###warningが出て困っています。どなたか教えていただけないでしょうか
+> $ gcc syakyou.c
+syakyou.c: In function ‘main’:
+syakyou.c:83:20: warning: format ‘%d’ expects argument of type ‘int’, but argument 4 has type ‘char *’ [-Wformat=]
+  sprintf(send_buf, "Host: %s:%d\r\n", url.host, url.path);                            ^
+です。
+これはどういった意味なのでしょうか？
+char型なのに %d にしているというということでしょうか？
+###試したこと
+Chironian様のアドバイスを元に
+```c
+ 58     hints.ai_socktyoe = AF_INET; を
+58     hints.ai_family = AF_INET;  に打ち直しました。
+url1 を
+url  に直しました。
+```
+よろしくお願いします。
+また、コンパイル時に
+errorやwarningがあった場合、皆様はどのように解決するときのヒントや初心者が犯しやすいミスがあれば教えていただけましたら幸いです。

更新

2016/08/08 06:32

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -489,3 +489,5 @@
 syakyou.cはインデントがタブ
 のため、差分の量が多過ぎて見分けがつかず、お手上げです。
+重ね重ね申し訳ありません。

更新

2016/07/27 05:58

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -92,7 +92,7 @@
-参考にさせて頂いたプログラム：[[C言語] HTTPクライアントを作ってみる](http://http://qiita.com/edo_m18/items/cef278d0c14d1371db3b)
+参考にさせて頂いたプログラム：[[C言語] HTTPクライアントを作ってみる](http://qiita.com/edo_m18/items/cef278d0c14d1371db3b)

追記

2016/07/27 05:56

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -59,3 +59,433 @@
 どうかお助けください。
 よろしくお願いいたします。
+---
+###追記(07/27)
+皆様のアドバイスをもとにプログラムを書いています。
+エラーの意味が分からず困っています。
+写し間違いだと思うのですが、どこを間違えているのか、エラーの描いてあることがよく分かりません。
+どなたか解説していただけませか。
+そもそもコードが公開されているのであれば、それをコピーすればいいのかもしれませんが、少しでも理解して身につけたいと思い、コピペはせず、見ながら打ち込むようにしています。
+効率が最悪かもしれませんが、親切な方がいらっしゃいましたら、このひよっこに暖かい手を差し伸べていただけないでしょうか。
+また、効率の良いやり方・勉強法等をご存知の方がいらっしゃいましたら、併せて教えていただけましたら幸いです。
+よろしくお願いいたします。
+参考にさせて頂いたプログラム：[[C言語] HTTPクライアントを作ってみる](http://http://qiita.com/edo_m18/items/cef278d0c14d1371db3b)
+```C
+//syakyou.c
+  1 #include <stdio.h>
+  2 #include <string.h>
+  3 #include <stdlib.h>
+  4 #include <sys/types.h>
+  5 #include <netdb.h>
+  6 #include <netinet/in.h>
+  7 #include <sys/param.h>
+  8 #include <unistd.h>
+  9
+ 10 #define BUF_LEN 256
+ 11
+ 12 struct URL {
+ 13     char host[BUF_LEN];
+ 14     char path[BUF_LEN];
+ 15     char query[BUF_LEN];
+ 16     char fragment[BUF_LEN];
+ 17     unsigned short port;
+ 18 };
+ 19
+ 20 /**
+ 21  * @param urlStr URLテキスト
+ 22  */
+ 23 void parseURL(const char *urlStr, struct URL *url, char **error);
+ 24
+ 25 int main(int argc, char **argv) {
+ 26
+ 27     //ソケットのためのファイルディスクリプタ
+ 28     int s;
+ 29
+ 30     //IPアドレスの解決
+ 31     struct addrinfo hints, *res;
+ 32     struct in_addr addr;
+ 33     int err;
+ 34
+ 35     //サーバに送るHTTPプロトコル用バッファ
+ 36     char send_buf[BUF_LEN];
+ 37
+ 38     struct URL url1 = {
+ 39         "css-eblog.com","/",80
+ 40     };
+ 41
+ 42     //URLが指定されていたら
+ 43     if(argc>1){
+ 44         char *error = NULL;
+ 45         parseURL(argv[1],&url,&error);
+ 46
+ 47         if(error){
+ 48             printf("%s/n",error);
+ 49             return 1;
+ 50         }
+ 51     }
+ 52
+ 53     printf("http://%s%s%sを取得します。\n\n", url.host, url1.path, url.query);
+ 54
+ 55     //0クリア
+ 56     memset(&hints, 0, sizeof(hints));
+ 57     hints.ai_socktype = SOCK_STREAM;
+ 58     hints.ai_socktyoe = AF_INET;
+ 59
+ 60     char *serviceType = "http";
+ 61
+ 62     if((err = getaddrinfo(url.host, serviceType, &hints, &res)) != 0) {
+ 63         printf("error %d\n", err);
+ 64         return 1;
+ 65     }
+ 66
+ 67     //ソケット生成
+ 68     if((s = socket(res->ai_family, res->ai_socktype, res->ai_protocol)) < 0) {
+ 69         fprintf(stderr, "ソケットの作成に失敗しました。\n");
+ 70         return 1;
+ 71     }
+ 72
+ 73     //サーバに接続
+ 74     if(connect(s, res->ai_addr, res->ai_addrlen) != 0) {
+ 75         fprintf(stderr, "connectに失敗しました。\n");
+ 76         return 1;
+ 77     }
+ 78
+ 79     //HTTPプロトコルの開始 ＆サーバに送信
+ 80     sprintf(send_buf, "GET %s%s HTTP/1.0\r\n", url.path, url.query);
+ 81     write(s, send_buf, strlen(send_buf));
+ 82
+ 83     sprintf(send_buf, "Host: %s:%d\r\n", url.host, url.path);
+ 84     write(s, send_buf, strlen(send_buf));
+ 85
+ 86     sprintf(send_buf, "\r\n");
+ 87     write(s, send_buf, strlen(send_buf));
+ 88
+ 89     //受信が終わるまでループ
+ 90     while(1){
+ 91         char buf[BUF_LEN];
+ 92         int read_size;
+ 93         read_size = read(s, buf, BUF_LEN);
+ 94
+ 95         if(read_size > 0) {
+ 96             write(1, buf, read_size);
+ 97         }
+ 98         else{
+ 99             break;
+100         }
+101     }
+102
+103     //ソケットを閉じる
+104     close(s);
+105
+106     return 0;
+107 }
+108
+109
+110 void parseURL(const char *urlStr, struct URL *url, char **error) {
+111     char host_path[BUF_LEN];
+112
+113     if(strlen(urlStr) > BUF_LEN - 1) {
+114         *error = "URLが長すぎます。\n";
+115         return;
+116     }
+117
+118     //http://から始まる文字列で
+119     //sscanfが成功して
+120     //http://のあとに何かの文字列が存在するなら
+121     if(strstr(urlStr, "http://")                &&
+122        sscanf(urlStr, "http://%s", host_path)   &&
+123        strcmp(urlStr, "http://")){
+124
+125         char *p = NULL;
+126
+127         p = strchr(host_path, '#');
+128         if(p != NULL){
+129             strcpy(url->fragment, p);
+130             *p = '\0';
+131         }
+132
+133         p = strchr(host_path, '?');
+134         if(p != NULL){
+135             strcpy(url->query, p);
+136             *p = '\0';
+137         }
+138
+139         p = strchr(host_path, '/');
+140         if(p != NULL){
+141             strcpy(url->path, p);
+142             *p = '\0';
+143         }
+144
+145         strcpy(url->host, host_path);
+146
+147         //ホスト名の部分に":"が含まれていたら
+148         p = strchr(url1->host, ':');
+149         if(p != NULL){
+150             //ポート番号を取得
+151             url->port = atoi(p + 1);
+152
+153             //数字ではない(atoiが失敗)か、0だったら
+154             //ポート番号は80に決め打ち
+155             if(url->port <= 0) {
+156                 url->port = 80;
+157             }
+158
+159             //終端文字で空にする
+160             *p = '\0';
+161         }
+162         else{
+163             url->port = 80;
+164         }
+165     }
+166     else{
+167         *error = "URLはhttp://host/pathの形式で指定してください。\n";
+168         return;
+169     }
+170 }
+```
+###エラーコード
+> $ gcc -o syakyou syakyou.c
+syakyou.c: In function ‘main’:
+syakyou.c:45:21: error: ‘url’ undeclared (first use in this function)
+   parseURL(argv[1],&url,&error);
+                     ^
+syakyou.c:45:21: note: each undeclared identifier is reported only once for each function it appears in
+syakyou.c:58:7: error: ‘struct addrinfo’ has no member named ‘ai_socktyoe’
+  hints.ai_socktyoe = AF_INET;
+       ^
+syakyou.c: In function ‘parseURL’:
+syakyou.c:148:14: error: ‘url1’ undeclared (first use in this function)
+   p = strchr(url1->host, ':');
+              ^
+###試したこと
+otehon.cはコピペしたテキストプログラム
+syakyou.cは見ながら写したプログラム
+> $ diff syakyou.c otehon.c
+###結果
+otehon.cはインデントが空白
+syakyou.cはインデントがタブ
+のため、差分の量が多過ぎて見分けがつかず、お手上げです。

2016/07/27 05:54

投稿

dlrowolleh

スコア120

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -46,6 +46,16 @@
+これだけでは分からない部分もたくさんあると思います。
+自分でも分からないことがたくさんあるので追記などで対応していきます。
 どうかお助けください。
 よろしくお願いいたします。