常連

### 実現したいこと
シェルスクリプトのファイル内にcurlコマンドを実行する行があります。
URLは直書きせず、環境変数から取り込みます。

スクリプトを実行する前に環境変数を設定するためのファイルを置きます。

env.sh
```bash
export CURL_URL=https://test.com
```

スクリプト内で上記で置いたファイルをsourceコマンドで取り込みます。
そのあと、curlコマンドを実行します。

test.sh
```bash
#!/usr/bin/env bash

source ./env.sh
curl ${CURL_URL} -X POST
```

### 発生している問題・分からないこと

curlコマンドの実行エラーとなってしまいます。
環境変数の中身は問題ありません。

```
> ./test.sh
curl: (3) URL using bad/illegal format or missing URL
```

### 環境変数がちゃんと設定されているか確認

test.sh
```bash
#!/usr/bin/env bash

source ./env.sh
echo ${CURL_URL}
curl ${CURL_URL} -X POST
```

結果
```
https://test.com
curl: (3) URL using bad/illegal format or missing URL
```

環境変数を使わず直書きした場合は問題ありません。

test.sh
```bash
#!/usr/bin/env bash

curl https://www.test.com -X POST
```

また、sourceコマンドで取り込まず、shを実行する前にコマンドラインでexportをした場合も問題ありません。

```
> export CURL_URL=https://test.com
> ./test.sh
```

なぜか、スクリプト内のsourceコマンドで取り込んだ環境変数をcurlでコマンドで使用することができないのです。
とても特殊な状況なのか、調べても同様の事象がヒットしませんでした。

### エラーメッセージ

```
curl: (3) URL using bad/illegal format or missing URL
```

### 試したこと

環境変数の書き方の問題かと思い、以下も全て試しましたが同じエラーです。

```
curl "${CURL_URL}"
curl ${CURL_URL}
curl CURL_URL
curl $(echo ${CURL_URL})
```
```

### 調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した

##### 上記の詳細・結果
Web上で同様の事例がなく、解決に至らなかった。


シェルスクリプトでcurlコマンドを実行するさい、URLに環境変数を指定する方法

#前提・実現したいこと
curlコマンドでwebサイトにアクセスしようとしています。
webサイトは閉じた環境で、Windows Server上に構築しました。
同じネットワーク環境にlinuxを導入して、そのlinuxからcurlコマンドを実行しようとしています。
以下を実施しました。

[手順1]
```
$ curl -k https://<該当サイトのURL>  -c login.cookie -o result.html
```

[手順2]
```
$ cat result.html | grep authenticity_token
```
ここでキーを確認

[手順3]
```
$curl -X POST -k https://<該当サイトのURL> \
-b login.cookie \
-c session.cookie \
-H "Content-type: application/x-www-form-urlencoded" \
--data-urlencode "authenticity_token=得られたauthenticity_token" \
--data-urlencode "session[username_or_email]=ユーザー名" \
--data-urlencode "session[password]=パスワード"  \
-o result.html
```

#発生している問題・エラーメッセージ
3のコマンドを実行するとエラーメッセージが表示されました。
"authenticity_token=得られたauthenticity_token”がhogehoge
"session[username_or_email]=ユーザー名”がfoo
"session[password]=パスワード”がbarの場合

```
curl: (6) Couldn't resolve host ‘hogehoge’
curl: (6) Couldn't resolve host ‘foo’
curl: (6) Couldn't resolve host ‘bar’
```

認証に必要と思われる情報に対して「Couldn't resolve host」のエラーが
出ているので、腑に落ちません。
何が問題と考えられるでしょうか？
#補足情報
別のWindows端末のWebブラウザでのアクセスは成功しています。

---(2019/03/16 13:40追記)---

通常のGETでの情報取得や、POSTした際にデタラメな情報を送信すると
webサイトのDBからエラーメッセージは返ってきます。
GET時
```
$curl -k https://<該当サイトのURL> 
```

curlコマンドを使ってwebサイトにアクセスするとエラーが返ってくる

### 前提・実現したいこと
●前提
実装で、「シェルスクリプトで内でcurlし、ステータスコードとレスポンスボディの2つから分岐させる処理」を書いています。
1回のcurlで、ステータスコードとレスポンスボディの2つのみを取得したいのですが、できません。

●できないこと（実現したいこと）
「curlレスポンスにて、ステータスコードとレスポンスボディの2つを取得する」

●できたこと
「ステータスコードのみ取得する」
「レスポンスボディのみ取得する」
「ステータスコード・ヘッダー・レスポンスボディのすべて取得する」

curlコマンドのオプションで実現可能だと一番うれしいのですが、よいオプションや方法がみつけられませんでした。
よい指定方法をご存じの方、ご教示いただけませんでしょうか？

### 試したこと

1.status_codeのみを取得
```
$ curl -LI google.com -o /dev/null -w '%{http_code}\n' -s
200
```


2.bodyのみを取得
```
$ curl google.com
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
```

3.status_codeとbodyの両方を取得（ヘッダーも入ってしまう）
```
$ curl -Ssi google.com
HTTP/1.1 301 Moved Permanently
Location: http://www.google.com/
Content-Type: text/html; charset=UTF-8
Date: Thu, 16 Jan 2020 03:28:27 GMT
Expires: Sat, 15 Feb 2020 03:28:27 GMT
Cache-Control: public, max-age=2592000
Server: gws
Content-Length: 219
X-XSS-Protection: 0
X-Frame-Options: SAMEORIGIN

<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
```

取得後、("200","body")のように、リストやタプルのような感じで使用したいイメージです。

curlコマンドのオプションで実現可能だと一番うれしいのですが、よいオプションや方法がみつけられませんでした。
curlにお詳しい方、よい指定方法をご存じの方、知恵をかしていただけませんでしょうか？
よろしくおねがいします。

### 補足情報（FW/ツールのバージョンなど）
CentOS7

curlのレスポンスで、status_codeとbodyのみを取得したい

curlでHTTPS通信を行おうとしています。


```
curl -X POST -d "data=1234" https://URL --cacert YYY.pem --capath C:XXX\
```

上記のようにcurlコマンドを実行すると、以下のエラーが出てしまいます。
```
curl: (77) error setting certificate verify locations:
  CAfile: YYY.pem
  CApath: C:XXX\
```

ルート証明書はC:XXX\YYY.pemを使用します。

ルート証明書を指定するにはcurlのオプションが間違っているのでしょうか？

curlでルート証明書の適用がうまくできない。

これまで、Windowsでの開発環境として、xamppという簡易的なものを利用しておりましたが、
今回 本番環境に併せるため、VM Wareという仮想化用ソフト上で、
Linuxをインストールして、そちらで開発環境を構築してみました。

本番環境と同じにするため、CentOS6.5をインストールし、
以下を本番環境と同じ手順でyumでインストールしました。

Nginx：1.6
PHP：5.5
MySQL：5.5

新しく構築した開発環境で、既存のPHPのスクリプトを実行してみたところ、
概ね問題なく動作したのですが、いくつかエラーが出ているのがあったので、
調査してみたところ、

cURLでHTTPS接続している箇所でタイムアウトが発生しておりました。

試しにPHP経由ではなく、コマンドで直接HTTPS接続で試したところ、
以下のようなエラーが発生しました。

```lang-linux
curl: (7) couldn't connect to host
```

※タイムアウトを短めに設定すると、以下になりました。
```lang-linux
curl: (28) connect() timed out!
```

上の方のエラーからすると、タイムアウトというより、
HTTPS接続自体が上手くいっていないようです。

なお、HTTP接続では、問題なく取得できており、
本番環境においては、HTTPS接続でも問題ありません。

Linux自体は不慣れなため、どこの設定を確認するべきかということすら
分かっていないため、何か解決のヒントが得られればと思い、
ご相談させていただきました。

cURLでHTTPS接続でタイムアウトしてしまう

###前提・実現したいこと

どなたかご存知のかたいらっしゃいましたら、ご教示頂ければ幸いです。

curlコマンド-iオプションの出力結果全てをシェルスクリプトの変数として取得したいのですが、HTML（コンテンツ）は変数に格納されるものの、レスポンスヘッダが変数に格納できません。

curlコマンド-iオプションで表示されるレスポンスヘッダまで含めてシェルスクリプトの変数として取得する方法をご教示頂ければ幸いです。


###発生している問題・エラーメッセージ

通常以下のように、-iオプションによりレスポンスヘッダ＋HTML（レスポンスボディ）が返ってきます。

```bash
$curl -Ssi http://example.com/

HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: max-age=604800
Content-Type: text/html
Date: Fri, 24 Feb 2017 05:07:53 GMT
Etag: "359670651+ident"
Expires: Fri, 03 Mar 2017 05:07:53 GMT
Last-Modified: Fri, 09 Aug 2013 23:54:35 GMT
Server: ECS (rhv/818F)
Vary: Accept-Encoding
X-Cache: HIT
Content-Length: 1270

<!doctype html>
<html>
<head>
    <title>Example Domain</title>

〜〜〜 中略 〜〜〜

</div>
</body>
</html>
```

しかし、以下のシェルスクリプトの出力では、-iオプションによって取得されるレスポンスヘッダが抜け落ちた出力となってしまいます。

▼シェルスクリプトソース

```bash
RES=$(curl -Ssi http://example.com/)
echo $RES
```

▼上記シェルスクリプトの出力結果

```bash
$ ./test.sh
 <!doctype html> <html> <head> <title>Example Domain</title> <meta charset="utf-8" /> <meta http-equiv="Content-type" content="text/html; charset=utf-8" /> <meta name="viewport" content="width=device-width, initial-scale=1" /> <style type="text/css"> body { background-color: #f0f0f2; margin: 0; padding: 0; font-family: "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif; } div { width: 600px; margin: 5em auto; padding: 50px; background-color: #fff; border-radius: 1em; } a:link, a:visited { color: #38488f; text-decoration: none; } @media (max-width: 700px) { body { background-color: #fff; } div { width: auto; margin: 0 auto; border-radius: 0; padding: 1em; } } </style> </head> <body> <div> <h1>Example Domain</h1> <p>This domain is established to be used for illustrative examples in documents. You may use this domain in examples without prior coordination or asking for permission.</p> <p><a href="http://www.iana.org/domains/example">More information...</a></p> </div> </body> </html>
```


###補足情報(言語/FW/ツール等のバージョンなど)
OS: Ubuntu 16.04
シェル: bash

`curl -i`の出力結果（レスポンスヘッダ）をシェルスクリプトの変数に代入したい

###前提・実現したいこと
bashシェルスクリプトで、以下を実現したいのです。

①curl を実行し、変数を指定したURLから必要な情報をGETする。
②jqを使用し、必要な情報を絞り込んで整形
③その結果をメールで投げる

```ここに言語を入力
$(curl -XGET 'http://${変数}・・・・  | jq ・・・）
```
しかし、上記コードはcurlが動かない・・・

どのように書けば動くのかご存知でしたらお教えください。

###発生している問題・エラーメッセージ

シェルスクリプト内でcurlとjqを実行するため
$()で括ってパイプしているのですが 動いてくれません。

###試したこと
bash -x で動かしてみたところ、| のところで改行してしまっているように見えます。

シェルスクリプト内でのcurl実行と変数展開について

windows10のコマンドプロンプトから、cURLを用いてサーバに以下のコマンドを打ちました

```
curl -X POST -H "Content-Type: application/json" -H "cookie:JSESSIONID=(略)" -d '{"column1":1,"column2":"data"}' http://localhost:8080/(略)
```

しかし、これに対して
> Unexpected character (''' (code 39)): expected a valid value (number, String, array, object, 'true', 'false' or 'null')

が返ってきました。

そこで、JSON部分の`'{"column1":1,"column2":"data"}'`のシングルクォートを外してみたところ、今度は以下の表示が出ました。
> Unexpected character ('c' (code 99)): was expecting double-quote to start field name

cは"column1"の頭文字のようです。ちゃんと””でくくっているはずなのに、フィールドネームはダブルクオートでくくれと言われます。

この問題の解決法がわかりません。もし、お分かりになる方がいたら、ご教授ください。
よろしくお願いいたします。