質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
C

C言語は、1972年にAT&Tベル研究所の、デニス・リッチーが主体となって作成したプログラミング言語です。 B言語の後継言語として開発されたことからC言語と命名。そのため、表記法などはB言語やALGOLに近いとされています。 Cの拡張版であるC++言語とともに、現在世界中でもっとも普及されているプログラミング言語です。

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

Q&A

解決済

2回答

3036閲覧

C: libcurlのCURLOPT_WRITEFUNCTIONを使ってレスポンスボディだけ取り出したい

Ykkykk

総合スコア140

C

C言語は、1972年にAT&Tベル研究所の、デニス・リッチーが主体となって作成したプログラミング言語です。 B言語の後継言語として開発されたことからC言語と命名。そのため、表記法などはB言語やALGOLに近いとされています。 Cの拡張版であるC++言語とともに、現在世界中でもっとも普及されているプログラミング言語です。

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

0グッド

0クリップ

投稿2019/12/27 01:12

CURLOPT_WRITEFUNCTIONでコールバック関数を登録し、レスポンスボディをだけを取得したいのですが、レスポンスヘッダが含まれてしまいます。

C

1size_t http_res_read(char *ptr, size_t size, size_t nmemb, void *userdata) 2{ 3 char *p; 4 struct http_struct *options = (struct http_struct *)userdata; 5 size_t append_size = size * nmemb; 6 7 p = (char *)realloc(options->message, options->len + append_size + 1); 8 9 memcpy(p + options->len, ptr, append_size); 10 11 options->message = p; 12 options->len += append_size; 13 options->message[options->len] = '\0'; 14 15 printf("p: %s\n", p); 16 17 return size * nmemb; 18}

上記のコールバック関数で変数内にレスポンスヘッダとボディを保存することができているのですが、レスポンスボディだけを保存するAPIや方法はないのでしょうか?

一度レスポンスヘッダまで保存してからヘッダを消す、というような処理を追加する必要がありますでしょうか?

上記コールバック関数はレスポンスを取得するために複数回呼ばれており、printfした様子だと、はじめに一行ずつレスポンスヘッダを追加していき、一行改行を追加して一気にボディを追加する動きになっています。その際に何か処理を追加することでボディだけを保存することができるのでしょうか??

ご教示いただけますと幸いです。よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

curl_easy_setopt(curl, CURLOPT_HEADER, 0L);
を使用したサンプルです。
なお、この、curl_easy_setopt(curl, CURLOPT_HEADER, 0L);の行を削除しても結果は同じです。
curlのバージョンは古いかも知れません。以下の環境です。
curl --version
curl 7.29.0 (x86_64-redhat-linux-gnu) libcurl/7.29.0 NSS/3.21 Basic ECC zlib/1.2.7 libidn/1.28 libssh2/1.4.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smtp smtps telnet tftp
Features: AsynchDNS GSS-Negotiate IDN IPv6 Largefile NTLM NTLM_WB SSL libz unix-sockets

C

1#include <stdio.h> 2#include <string.h> 3#include <curl/curl.h> 4 5#define MAX_BUF 655360 6 7char wr_buf[MAX_BUF+1]; //Buffer for Body 8int wr_index; //write index for Body 9 10char wr_buf2[MAX_BUF+1]; //buffer for Header 11int wr_index2; //write index for Header 12 13 14size_t write_header(void *buffer, size_t size, size_t nmemb,void *userp) 15{ 16 17 int segsize = size * nmemb; 18 19 /* Check to see if this data exceeds the size of our buffer. If so, 20 * set the user-defined context value and return 0 to indicate a 21 * problem to curl. 22 */ 23 if ( wr_index2 + segsize > MAX_BUF ) { 24 *(int *)userp = 1; 25 return 0; 26 } 27 28 /* Copy the data from the curl buffer into our buffer */ 29 memcpy( (void *)&wr_buf2[wr_index2], buffer, (size_t)segsize ); 30 31 /* Update the write index */ 32 wr_index2 += segsize; 33 34 /* Null terminate the buffer */ 35 wr_buf2[wr_index2] = 0; 36 37 /* Return the number of bytes received, indicating to curl that all is okay */ 38 return segsize; 39 40} 41 42 43 44/* 45 * Write data callback function (called within the context of 46 * curl_easy_perform. 47 */ 48size_t write_data( void *buffer, size_t size, size_t nmemb, void *userp ) 49{ 50 int segsize = size * nmemb; 51 52 /* Check to see if this data exceeds the size of our buffer. If so, 53 * set the user-defined context value and return 0 to indicate a 54 * problem to curl. 55 */ 56 if ( wr_index + segsize > MAX_BUF ) { 57 *(int *)userp = 1; 58 return 0; 59 } 60 61 /* Copy the data from the curl buffer into our buffer */ 62 memcpy( (void *)&wr_buf[wr_index], buffer, (size_t)segsize ); 63 64 /* Update the write index */ 65 wr_index += segsize; 66 67 /* Null terminate the buffer */ 68 wr_buf[wr_index] = 0; 69 70 /* Return the number of bytes received, indicating to curl that all is okay */ 71 return segsize; 72} 73 74 75/* 76 * Simple curl application to read the index.html file from a Web site. 77 */ 78int main( void ) 79{ 80 CURL *curl; 81 CURLcode ret; 82 int wr_error; 83 84 wr_error = 0; 85 wr_index = 0; 86 87 /* First step, init curl */ 88 curl = curl_easy_init(); 89 if (!curl) { 90 printf("couldn't init curl\n"); 91 return 0; 92 } 93 94 /* Tell curl the URL of the file we're going to retrieve */ 95 curl_easy_setopt( curl, CURLOPT_URL, "http://yokotatsu.webcrow.jp" ); 96 curl_easy_setopt( curl, CURLOPT_WRITEDATA, (void *)&wr_error ); 97 curl_easy_setopt( curl, CURLOPT_HEADER, 0L); 98 curl_easy_setopt( curl, CURLOPT_HEADERFUNCTION, write_header ); 99 curl_easy_setopt( curl, CURLOPT_WRITEFUNCTION, write_data ); 100 101 /* Allow curl to perform the action */ 102 ret = curl_easy_perform( curl ); 103 104 printf( "ret = %d (write_error = %d)\n", ret, wr_error ); 105 106 /* Emit the page if curl indicates that no errors occurred */ 107 if ( ret == 0 ){ 108 printf( "%s\n", wr_buf2 ); 109 printf( "---------------------------------------------------\n"); 110 printf( "%s\n", wr_buf ); 111 } 112 curl_easy_cleanup( curl ); 113 114 return 0; 115} 116

以下、実行結果です。
ret = 0 (write_error = 0)
HTTP/1.1 200 OK
Date: Fri, 27 Dec 2019 07:34:09 GMT
Server: Apache
Last-Modified: Sun, 30 Jul 2017 01:55:26 GMT
ETag: "1178576d-177-5557f353dbf80"
Content-Length: 461
Content-Type: text/html


<html> <head><title>input.html</title></head> <body> <script type="text/javascript" src="https://ad.netowl.jp/js/webcrow-php.js"></script> 入力フォームです。 名前を入力してみましょう。 <form action="output.php" method="post"> <table border="1"> <tr> <td>名前</td> <td><input type="text" name="name"></td> <td colspan="2" align="center"> <input type="submit" value="入力"> </td> </tr> </table> </form> </body> </html>

投稿2019/12/27 07:40

tatsu99

総合スコア5438

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Ykkykk

2019/12/27 07:58

詳細なコードまでご提示いただきありがとうございます。 該当する処理が私の環境では大きな処理の一部となってしまっており、他の箇所でエラーを引き起こしているのだと思います…。 ご提示いただいたコードを参考に検討いたします。本当にありがとうございます! ちなみにお聞きしたいのですが、HEADERFUNCTIONとWRITEFUNCTIONで呼ばれるそれぞれの関数の間で何らかの処理をしたいと思ってもそれは無理ですよね。。。?
tatsu99

2019/12/27 08:41

具体的にどのようなことをなさりたいのかわからないので、なんとも言えませんが、 共通変数を使用すれば可能かも知れません。(シングルスレッド前提ですが)
tatsu99

2019/12/27 08:44

すみません。共通変数はグローバル変数の意味です。
Ykkykk

2019/12/27 08:56

ヘッダを受信完了した段階で処理を一つ行い、ボディを受信完了した段階でもう一つ処理を行う、というような形です。 マルチスレッドになっています。。。
tatsu99

2019/12/27 09:06

そもそも、HEADERFUNCTIONとWRITEFUNCTIONのコールバック関数は、「ヘッダの受信完了」又は「ボディの受信完了」のタイミングを知ることはできないと思いますので、無理かと思います。
tatsu99

2019/12/27 10:46

参考までに、お伺いしたいのですが、HEADERFUNCTIONとWRITEFUNCTIONのコールバック関数で「ヘッダの受信完了」又は「ボディの受信完了」をどのようにして検知するつもりなのでしょうか。 「ヘッダの受信完了」はヘッダの最後が<CR><LF><CR><LF>となるので、それを検知すれば、 可能かも知れませんが、「ボディの受信完了」は、ボディの最後はURLによって異なるため、受信データの内容をみて判断することはできないかと。
Ykkykk

2020/01/07 00:36 編集

返信が大変遅くなってしまい申し訳ございません。 私もHEADERFUNCTIONとWRITEFUNCTIONのコールバック関数でヘッダ/ボディの受信完了を検知する方法自体はわかっていません。。 また、libcurlの仕様からしても検知することは不可能ではないのかと思っていますが、求められている要件からそれぞれの受信完了のタイミングを知る必要があったため、上記のようなことをお尋ねいたしました。 やはりそれぞれの受信完了のタイミングを知ることは不可能だと考えた方が良さそうですね。。。 ありがとうございます。
guest

0

オプション CURLOPT_HEADER に 1(ヘッダ部もデータストリーム扱いする) を設定していませんか?
デフォルト値は 0(ヘッダ部は除去) となっています。

投稿2019/12/27 03:54

yohhoy

総合スコア6191

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Ykkykk

2019/12/27 04:23

ご回答いただきありがとうございます。 レスポンスヘッダはHEADERFUNCTIONで取り出しています。 ご指摘の通りCURLOPT_HEADERに1Lを指定しておりますが、0を指定するとHEADERFUNCTIONの方がコアダンプになってしまいます。。。
tatsu99

2019/12/27 04:58

curl_easy_setopt(curl, CURLOPT_HEADER, 0L); (0ではなく0Lを指定) にするか、それとも curl_easy_setoptでCURLOPT_HEADERを指定するのを削除してみてはいかがでしょうか。
Ykkykk

2019/12/27 06:16

ご回答いただきありがとうございます。 ヘッダはヘッダで別に保存したいのです。。
tatsu99

2019/12/27 07:35

こちらではcurl_easy_setopt(curl, CURLOPT_HEADER, 0L);でうまくいっています。 全ソースは回答欄に書きます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問