常連

###前提・実現したいこと

どなたかご存知のかたいらっしゃいましたら、ご教示頂ければ幸いです。

curlコマンド-iオプションの出力結果全てをシェルスクリプトの変数として取得したいのですが、HTML（コンテンツ）は変数に格納されるものの、レスポンスヘッダが変数に格納できません。

curlコマンド-iオプションで表示されるレスポンスヘッダまで含めてシェルスクリプトの変数として取得する方法をご教示頂ければ幸いです。


###発生している問題・エラーメッセージ

通常以下のように、-iオプションによりレスポンスヘッダ＋HTML（レスポンスボディ）が返ってきます。

```bash
$curl -Ssi http://example.com/

HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: max-age=604800
Content-Type: text/html
Date: Fri, 24 Feb 2017 05:07:53 GMT
Etag: "359670651+ident"
Expires: Fri, 03 Mar 2017 05:07:53 GMT
Last-Modified: Fri, 09 Aug 2013 23:54:35 GMT
Server: ECS (rhv/818F)
Vary: Accept-Encoding
X-Cache: HIT
Content-Length: 1270

<!doctype html>
<html>
<head>
    <title>Example Domain</title>

〜〜〜 中略 〜〜〜

</div>
</body>
</html>
```

しかし、以下のシェルスクリプトの出力では、-iオプションによって取得されるレスポンスヘッダが抜け落ちた出力となってしまいます。

▼シェルスクリプトソース

```bash
RES=$(curl -Ssi http://example.com/)
echo $RES
```

▼上記シェルスクリプトの出力結果

```bash
$ ./test.sh
 <!doctype html> <html> <head> <title>Example Domain</title> <meta charset="utf-8" /> <meta http-equiv="Content-type" content="text/html; charset=utf-8" /> <meta name="viewport" content="width=device-width, initial-scale=1" /> <style type="text/css"> body { background-color: #f0f0f2; margin: 0; padding: 0; font-family: "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif; } div { width: 600px; margin: 5em auto; padding: 50px; background-color: #fff; border-radius: 1em; } a:link, a:visited { color: #38488f; text-decoration: none; } @media (max-width: 700px) { body { background-color: #fff; } div { width: auto; margin: 0 auto; border-radius: 0; padding: 1em; } } </style> </head> <body> <div> <h1>Example Domain</h1> <p>This domain is established to be used for illustrative examples in documents. You may use this domain in examples without prior coordination or asking for permission.</p> <p><a href="http://www.iana.org/domains/example">More information...</a></p> </div> </body> </html>
```


###補足情報(言語/FW/ツール等のバージョンなど)
OS: Ubuntu 16.04
シェル: bash

`curl -i`の出力結果（レスポンスヘッダ）をシェルスクリプトの変数に代入したい

#前提・実現したいこと
curlコマンドでwebサイトにアクセスしようとしています。
webサイトは閉じた環境で、Windows Server上に構築しました。
同じネットワーク環境にlinuxを導入して、そのlinuxからcurlコマンドを実行しようとしています。
以下を実施しました。

[手順1]
```
$ curl -k https://<該当サイトのURL>  -c login.cookie -o result.html
```

[手順2]
```
$ cat result.html | grep authenticity_token
```
ここでキーを確認

[手順3]
```
$curl -X POST -k https://<該当サイトのURL> \
-b login.cookie \
-c session.cookie \
-H "Content-type: application/x-www-form-urlencoded" \
--data-urlencode "authenticity_token=得られたauthenticity_token" \
--data-urlencode "session[username_or_email]=ユーザー名" \
--data-urlencode "session[password]=パスワード"  \
-o result.html
```

#発生している問題・エラーメッセージ
3のコマンドを実行するとエラーメッセージが表示されました。
"authenticity_token=得られたauthenticity_token”がhogehoge
"session[username_or_email]=ユーザー名”がfoo
"session[password]=パスワード”がbarの場合

```
curl: (6) Couldn't resolve host ‘hogehoge’
curl: (6) Couldn't resolve host ‘foo’
curl: (6) Couldn't resolve host ‘bar’
```

認証に必要と思われる情報に対して「Couldn't resolve host」のエラーが
出ているので、腑に落ちません。
何が問題と考えられるでしょうか？
#補足情報
別のWindows端末のWebブラウザでのアクセスは成功しています。

---(2019/03/16 13:40追記)---

通常のGETでの情報取得や、POSTした際にデタラメな情報を送信すると
webサイトのDBからエラーメッセージは返ってきます。
GET時
```
$curl -k https://<該当サイトのURL> 
```

curlコマンドを使ってwebサイトにアクセスするとエラーが返ってくる

### 前提・実現したいこと
●前提
実装で、「シェルスクリプトで内でcurlし、ステータスコードとレスポンスボディの2つから分岐させる処理」を書いています。
1回のcurlで、ステータスコードとレスポンスボディの2つのみを取得したいのですが、できません。

●できないこと（実現したいこと）
「curlレスポンスにて、ステータスコードとレスポンスボディの2つを取得する」

●できたこと
「ステータスコードのみ取得する」
「レスポンスボディのみ取得する」
「ステータスコード・ヘッダー・レスポンスボディのすべて取得する」

curlコマンドのオプションで実現可能だと一番うれしいのですが、よいオプションや方法がみつけられませんでした。
よい指定方法をご存じの方、ご教示いただけませんでしょうか？

### 試したこと

1.status_codeのみを取得
```
$ curl -LI google.com -o /dev/null -w '%{http_code}\n' -s
200
```


2.bodyのみを取得
```
$ curl google.com
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
```

3.status_codeとbodyの両方を取得（ヘッダーも入ってしまう）
```
$ curl -Ssi google.com
HTTP/1.1 301 Moved Permanently
Location: http://www.google.com/
Content-Type: text/html; charset=UTF-8
Date: Thu, 16 Jan 2020 03:28:27 GMT
Expires: Sat, 15 Feb 2020 03:28:27 GMT
Cache-Control: public, max-age=2592000
Server: gws
Content-Length: 219
X-XSS-Protection: 0
X-Frame-Options: SAMEORIGIN

<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
```

取得後、("200","body")のように、リストやタプルのような感じで使用したいイメージです。

curlコマンドのオプションで実現可能だと一番うれしいのですが、よいオプションや方法がみつけられませんでした。
curlにお詳しい方、よい指定方法をご存じの方、知恵をかしていただけませんでしょうか？
よろしくおねがいします。

### 補足情報（FW/ツールのバージョンなど）
CentOS7

curlのレスポンスで、status_codeとbodyのみを取得したい

### 実現したいこと

Docker 上の Alpine 3.7 を下記コマンドで起動した後に

```shell
docker run --rm -it alpine:3.7 /bin/ash
```
Alpine 内で下記コマンドを実行し
```shell
apk add curl
curl -v 'https://pecl.php.net/'
```

下記のエラーが表示されずに HTTPレスポンス内容を表示されるようにしたい。
```
curl: (60) SSL certificate problem: certificate has expired
More details here: https://curl.haxx.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.
```


### 前提

Alpine 3.7 であることが必須です。例えば Alpine 3.15 ではこの問題は発生しませんが、今回の質問の対象外です。

また、curl コマンドに証明書を無視するオプションを追加したり、証明書のパスを引数として与えることも、今回の質問の対象外です。

```shell
docker run --rm -it alpine:3.7 /bin/ash
```
を行った後、Docker コンテナ内で何かのコマンドを実行し、

```shell
curl -v 'https://pecl.php.net/'
```
これがエラーにならないことが目標になります。


### 発生している問題・エラーメッセージ

```
% docker run --rm -it alpine:3.7 /bin/ash                                                               (git)-[master]
/ # apk add curl
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/aarch64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/aarch64/APKINDEX.tar.gz
(1/4) Installing ca-certificates (20190108-r0)
(2/4) Installing libssh2 (1.9.0-r1)
(3/4) Installing libcurl (7.61.1-r3)
(4/4) Installing curl (7.61.1-r3)
Executing busybox-1.27.2-r11.trigger
Executing ca-certificates-20190108-r0.trigger
OK: 6 MiB in 17 packages
/ # curl -v 'https://pecl.php.net/'
*   Trying 104.236.228.160...
* TCP_NODELAY set
* Connected to pecl.php.net (104.236.228.160) port 443 (#0)
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*   CAfile: /etc/ssl/certs/ca-certificates.crt
  CApath: none
* TLSv1.2 (OUT), TLS handshake, Client hello (1):
* TLSv1.2 (IN), TLS handshake, Server hello (2):
* TLSv1.2 (IN), TLS handshake, Certificate (11):
* TLSv1.2 (OUT), TLS alert, certificate expired (557):
* SSL certificate problem: certificate has expired
* Closing connection 0
curl: (60) SSL certificate problem: certificate has expired
More details here: https://curl.haxx.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.
/ #
```

### 試したこと
- [一个因CA根证书过期引起的故障](https://blog.aliasmee.com/post/resolve-certificate-verify-failed-with-2020-may-30/)
- [macos - Why I get SSL errors while installing packages on Docker(on mac)? - Stack Overflow](https://stackoverflow.com/questions/71798420/why-i-get-ssl-errors-while-installing-packages-on-dockeron-mac)
- [docker - old php container says : curl: (60) SSL certificate problem: certificate has expired - Stack Overflow](https://stackoverflow.com/questions/69413090/old-php-container-says-curl-60-ssl-certificate-problem-certificate-has-exp)





Alpine 3.7 で curl 'https://pecl.php.net/' をした時に curl: (60) SSL certificate problem とならないようにする

curlでHTTPS通信を行おうとしています。


```
curl -X POST -d "data=1234" https://URL --cacert YYY.pem --capath C:XXX\
```

上記のようにcurlコマンドを実行すると、以下のエラーが出てしまいます。
```
curl: (77) error setting certificate verify locations:
  CAfile: YYY.pem
  CApath: C:XXX\
```

ルート証明書はC:XXX\YYY.pemを使用します。

ルート証明書を指定するにはcurlのオプションが間違っているのでしょうか？

curlでルート証明書の適用がうまくできない。

これまで、Windowsでの開発環境として、xamppという簡易的なものを利用しておりましたが、
今回 本番環境に併せるため、VM Wareという仮想化用ソフト上で、
Linuxをインストールして、そちらで開発環境を構築してみました。

本番環境と同じにするため、CentOS6.5をインストールし、
以下を本番環境と同じ手順でyumでインストールしました。

Nginx：1.6
PHP：5.5
MySQL：5.5

新しく構築した開発環境で、既存のPHPのスクリプトを実行してみたところ、
概ね問題なく動作したのですが、いくつかエラーが出ているのがあったので、
調査してみたところ、

cURLでHTTPS接続している箇所でタイムアウトが発生しておりました。

試しにPHP経由ではなく、コマンドで直接HTTPS接続で試したところ、
以下のようなエラーが発生しました。

```lang-linux
curl: (7) couldn't connect to host
```

※タイムアウトを短めに設定すると、以下になりました。
```lang-linux
curl: (28) connect() timed out!
```

上の方のエラーからすると、タイムアウトというより、
HTTPS接続自体が上手くいっていないようです。

なお、HTTP接続では、問題なく取得できており、
本番環境においては、HTTPS接続でも問題ありません。

Linux自体は不慣れなため、どこの設定を確認するべきかということすら
分かっていないため、何か解決のヒントが得られればと思い、
ご相談させていただきました。

cURLでHTTPS接続でタイムアウトしてしまう

###前提・実現したいこと
bashシェルスクリプトで、以下を実現したいのです。

①curl を実行し、変数を指定したURLから必要な情報をGETする。
②jqを使用し、必要な情報を絞り込んで整形
③その結果をメールで投げる

```ここに言語を入力
$(curl -XGET 'http://${変数}・・・・  | jq ・・・）
```
しかし、上記コードはcurlが動かない・・・

どのように書けば動くのかご存知でしたらお教えください。

###発生している問題・エラーメッセージ

シェルスクリプト内でcurlとjqを実行するため
$()で括ってパイプしているのですが 動いてくれません。

###試したこと
bash -x で動かしてみたところ、| のところで改行してしまっているように見えます。

シェルスクリプト内でのcurl実行と変数展開について

WSL2上(distroはUbuntu)でcurlコマンドを使用すると以下のエラーとなりリクエストに失敗してしまいます。https通信ならちゃんと取ってこれるのですが、原因は何なのでしょうか。。？

##### エラー内容
```sh
~$ curl http://www.google.com
curl: (56) Recv failure: Connection reset by peer

~$ curl https://www.google.com
<!doctype html><html itemscope=""...

```

PowerShellではhttpもhttpsでも取ってこれます。
```PS
PS C:\> curl http://www.google.com
StatusCode        : 200
StatusDescription : OK
Content           : <!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="ja"><head><meta content="世界中のあらゆる情報を検索するためのツールを提供しています。さまざまな検索機能を活用して、お探しの情報を見
                    つけてください。" name="description"><meta content="n...
RawContent        : HTTP/1.1 200 OK
...
..
```

プロキシ設定は~/.bashrcに記述してあります。
```sh
# ~/.bashrc: executed by bash(1) for non-login shells.
# see /usr/share/doc/bash/examples/startup-files (in the package bash-doc)
...
..

export HTTP_PROXY=http://<IP address>:<port>
export HTTPS_PROXY=${HTTP_PROXY}
export NO_PROXY=127.0.0.1,localhost
```

またこれと同じ原因かは不明ですが、docker pullをした時にも同じエラーが起こります。。

```sh
~$ docker pull wordpress
Using default tag: latest
Error response from daemon: Get https://registry-1.docker.io/v2/: read tcp 172.31.65.71:59274->3.224.96.239:443: read: connection reset by peer
```

###### 環境
WSL2: 
```PS
PS C:\> wsl lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 20.04.2 LTS
Release:        20.04
Codename:       focal

```

##### 補足
以下のようにcurl時にプロキシを設定してあげると動いたのでやはりプロキシが通っていないのが問題みたいです。。。
```sh
~$ curl http://www.google.com -x http://<IP address>:<port>
<!doctype html><html itemscope=""...

```