常連

現在とあるセンサとの通信システムの開発を行っています

そのセンサ会社からは、POSTメソッドでデータを送信する仕様と聞いていたのですが、実際に通信テストを行ったところ、BODY部分（form）にはデータが含まれておらず、GETメソッドでのリクエストのようにURLの後ろへデータが付加されていました。（例えばhttp://192.168.1.1?aaa=bbbのようなイメージです）

その為、先方に対し、BODY部へデータを格納し、URLの後ろへはデータを付加しないよう修正を依頼したいと考えていましたが、通常のPOST通信の方法とは異なると思いますが、「POST通信でデータを送る」という内容に間違いはありませんでしたので、修正を依頼してよいものか悩んでいます

このようにPOST通信であるのにURLの後ろにデータを付加して通信するのはHTTPの通信規約などには違反していないのでしょうか？それとも正常な通信方法でしょうか？
ご教示ください

POST通信なのにURLの後にパラメータを付与するのはアリ？

### 目的
C#でHTTP通信を行い、その結果を取得したいと思っています。
（最終的にはWeb APIを叩くことが目的です）
資料となるサイトを参考にコードを書いてみたのですが応答が返らず、対処方法が分からないので教えていただきたいです。

### 実装
まっさらなC#/Formsアプリに、ボタンを一つだけ用意します。
ボタンを押すとWebアクセスを試みるだけのプログラムです。

[フォーム側(ボタンを押すとアクセス)]
```C#
    public partial class MainWindow : Form
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        private void btnRequest_Click(object sender, EventArgs e)
        {
            Uri uri = new Uri("http://www.google.com");
            // ここでwebアクセスを行う
            Task<string> webTask = WebConn.GetApiAsync(uri);
            string result = webTask.Result;
            Console.WriteLine(result);
        }
    }
```

[アクセス処理(WebConn)]
```C#
    public class WebConn
    {
        public static async Task<string> GetApiAsync(Uri uri)
        {
            using (HttpClient client = new HttpClient())
            {
                // ヘッダ情報設定
                client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko");
                client.DefaultRequestHeaders.Add("Accept-Language", "ja-JP");
                client.Timeout = TimeSpan.FromSeconds(5.0);

                try
                {
                    // 実際のアクセス処理はここだけ
                    string res = await client.GetStringAsync(uri);
                    // ここに辿りつけない
                    return res;
                } catch(HttpRequestException e)
                {
                    // 例外処理（省略）
                }
                return null;
            }
        }
    }
```

### 発生している問題
上記のコードを実行しフォームに用意したボタンを押したところ、ウィンドウが操作を受け付けない状態になります。
具体的には、上記コード（アクセス処理）の
`string res = await client.GetStringAsync(uri);` を実行した後、次の `return res;`に辿り着きません。
また、実行時に例外が発生することもありません。

### 参考資料
@ITの記事
http://www.atmarkit.co.jp/ait/articles/1501/06/news086.html
に掲載されているコードを、ほぼ流用しています。

### その他
C#を用いて通信を行うのは初めてです。
もしHttpClient使うより良い方法があれば教えてください。
（ところでteratailでは、C#のコードはシンタックスハイライトされないのでしょうか…？）

C#でHTTP通信を行う方法（HttpClientを用いる場合）

###概要
PHPなどでのサーバー開発をすることは得意ですが、
Webネットワークの知識が少し薄く、
サーバー通信時の通信量が実際数値としてどれほどのものかわかりません。
GoogleChromeのコンソールを見るも、いまいちピンとこず・・・といった感じです。

###知りたいこと

たとえばですが

http://example.com/ あるいは https://example.com/
にPOSTパラメーターとしてx=100が付与されているものとする。
その場合、以下ソースコード
```php
<?php
echo $_REQUEST["x"];
exit;
```
が実行され、
```
100
```
が出力されるものとする。
その場合、httpとhttps、それぞれどの程度の通信量が発生するのでしょうか？
※大雑把で大丈夫です、理屈がわかればだいたいの予測はつきます。
恐らく、リクエストおよびレスポンスそれぞれで発生するのだと思っています。
なんとなくでは把握していますが、かなり曖昧な知識なので詳細を知りたいと思っています。

お手数をおかけいたしますが、よろしくお願いいたします。

http、httpsでのサーバー通信時の通信量について

### 実現したいこと

powershellでAPI連携の実装を行いたい。
実装に際して、Invoke-RestMethodでリクエストした内容（電文）を取得したい。
ググってもわからなかったため、もし有識者いらっしゃれば。必要な情報等あればコメントください。

PowerShellでのAPI　リクエスト内容（電文）の取得方法

Windows10Pro x64 ＋ VS2017 ＋ .NET Framework3.5で、以下のコードで例外出ない方、いらっしゃいますでしょうか。
あるいは、解決方法どなたかご存知でしょうか。

```
HttpWebRequest req = (HttpWebRequest)WebRequest.Create("https://www.tanabe-ind.co.jp/");
req.Timeout = 900000;
using (HttpWebResponse res = (HttpWebResponse)req.GetResponse())	//ここで例外
{
}

```

```
System.Net.WebException: '基礎になる接続が閉じられました: 送信時に、予期しないエラーが発生しました。'
内部例外:
IOException: トランスポート ストリームから予期しない EOF または 0 バイトを受信しました。
```

ちなみに同じコードで.NET Framework4.0なら通ります。
また、上記以外の大抵のサイト（例えば https://www.google.co.jp/）も通ります。
上記サイトはie等ブラウザで普通に見れるところです。

Fiddlerで確認したリクエストヘッダは以下の通り。

ieのリクエストヘッダ
```
CONNECT www.tanabe-ind.co.jp:443 HTTP/1.0
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
Content-Length: 0
Host: www.tanabe-ind.co.jp
Connection: Keep-Alive
Pragma: no-cache

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.3 (TLS/1.2)
～以下略～
```

上記コードでのヘッダ（.net3.5・4.0同じ）
```
CONNECT www.tanabe-ind.co.jp:443 HTTP/1.1
Host: www.tanabe-ind.co.jp
Connection: Keep-Alive

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.1 (TLS/1.0)
～以下略～
```

色々調べて、事前に下記コードを入れたりもしましたが駄目でした。
TLS/1.2でも1.0でも、.net4.0なら通り、3.5なら例外です。

```
ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3 | SecurityProtocolType.Tls | (SecurityProtocolType)0x00000C00 | (SecurityProtocolType)0x00000300;
```

あと、足りないヘッダを補おうと下記コードを入れても、送り先がhttpsだとヘッダに変化無いのはそういうものでしょうか。（.net3.5・4.0両方とも）

```
req.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko";
req.ContentLength = 0;
req.KeepAlive = true;
req.Headers["TEST"] = "TEST";
```

.NET4系に移行してしまえば済む話なのですが、とりあえず解決はしておきたく、ここに書きました。どなたか情報ご存知でしたらお願いします。

.NET3.5 HttpWebRequest.GetResponse()の例外について

### 解決したいこと
- LINE広告APIドキュメントにある、[パフォーマンスレポートを作成するPOSTリクエスト](https://ads.line.me/public-docs/v3/3.9.1/certificated-ad-tech-general-partner#_createreport)をGAS（Google Apps Script）で動かしたい
- サンプルコードがPythonだったので、Pythonで書いてみたところ動いたが、これをGASでとなると思ったようにいかない

### 開発の背景
- LINE広告のパフォーマンスレポートをスプレッドシートに自動で書き出したい
- 他にGoogle広告やYahoo!広告のデータ抽出もすでにGASで実装しているため、できればGASで書きたい

### 発生しているエラー
```
Request failed for https://ads.line.me returned code 401.
Truncated server response: {"errors":[{"reason":"Unauthorized","message":"Request digest is invalid."}]}
```
エラーコードをドキュメントで調べてみると、
> 401　The token specified in 'Authorization' header is invalid.
「Authorization ヘッダーで指定されたトークンが無効」だと言われます。

ただ、Authorization ヘッダーに渡している`token` という変数の中身は、PythonでもGASでも一致しているんです...。ここが今一番混乱しているところです。

以下が「レスポンスが返ってくるPythonのコード」と「エラーで返ってくるGASのコード」です。
変数名も全体の構成もなるべく同じにしています。

#### Python
```Python
import base64
import datetime
import hashlib
import hmac
from inspect import signature
import json
import urllib.request
from datetime import datetime, timedelta

def calc_sha256_digest(content: str) -> str:
    sha256 = hashlib.new('sha256')
    sha256.update(content.encode())
    return sha256.hexdigest()

def encode_with_base64(value: bytes) -> str:
    return base64.urlsafe_b64encode(value).decode()

if __name__ == '__main__':
    # Setting parameters for your request
    today = datetime.now()
    yesterday = (today - timedelta(1)).strftime('%Y-%m-%d')
    accountId = "A00000000000"
    
    access_key = "XXXXXXXXXXXXXXXX"
    secret_key = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
    method = "POST"
    canonical_url = "/api/v3/adaccounts/" + accountId + "/pfreports"
    url_parameters = ""
    request_body = {
        "level":"ADACCOUNT",
        "since": yesterday,
        "until": yesterday,
        "filtering":{
            "idType":"ADACCOUNT",
            "ids":[accountId]
        },
        "fileFormat":"CSV"
    }
    has_request_body = request_body is not None

    endpoint = 'https://ads.line.me' + canonical_url + url_parameters
    request_body_json = json.dumps(request_body) if has_request_body else ""
    content_type = 'application/json' if has_request_body else ""

    jws_header = encode_with_base64(
        json.dumps({
            "alg": "HS256",
            "kid": access_key,
            "typ": "text/plain"
        }).encode()
    )

    hex_digest = calc_sha256_digest(request_body_json)
    payload_date = today.strftime('%Y%m%d')
    payload = "%s\n%s\n%s\n%s" % (hex_digest, content_type, payload_date, canonical_url)
    jws_payload = encode_with_base64(payload.encode())

    signing_input = "%s.%s" % (jws_header, jws_payload)
    signature = hmac.new(
        secret_key.encode(),
        signing_input.encode(),
        hashlib.sha256
    ).digest()
    encoded_signature = encode_with_base64(signature)
    token = "%s.%s.%s" % (jws_header, jws_payload, encoded_signature)
    print(token)

    http_headers = {
        "Date": today.strftime('%a, %d %b %Y %H:%M:%S GMT'),
        "Authorization": "Bearer %s" % token
    }
    if has_request_body:
        http_headers["Content-Type"] = content_type
        req = urllib.request.Request(endpoint, data=request_body_json.encode(), headers=http_headers, method=method)
    else:
        req = urllib.request.Request(endpoint, headers=http_headers, method=method)

    with urllib.request.urlopen(req) as res:
        resp = res.read()
    print(resp.decode())
```

#### GAS
```JavaScript
function main() {
  const today = new Date();
  const yesterday = getYesterday(new Date());
  const accountId = "A00000000000";

  const access_key = "XXXXXXXXXXXXXXXX";
  const secret_key = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX";
  const method = "POST";
  const canonical_url = `/api/v3/adaccounts/${accountId}/pfreports`;
  const url_parameters = "";
  const request_body = {
    "level":"ADACCOUNT",
    "since":yesterday,
    "until":yesterday,
    "filtering": {
      "idType": "ADACCOUNT",
      "ids": [accountId]
    },
    "fileFormat": "CSV"
  };
  const has_request_body = request_body

  const endpoint = "https://ads.line.me" + canonical_url + url_parameters;
  const request_body_json = JSON.stringify(request_body).replace(/:/g, ': ').replace(/,/g, ', ');
  const content_type = "application/json";

  const jws_header = encode_with_base64(JSON.stringify({
    "alg":"HS256",
    "kid":access_key,
    "typ":"text/plain"
  }).replace(/:/g, ': ').replace(/,/g, ', '));
  
  const hex_digest = calc_sha256_digest(request_body_json);
  const payload_date = Utilities.formatDate(today, 'JST', 'yyyyMMdd');
  const payload = `${hex_digest}\n${content_type}\n${payload_date}\n${canonical_url}`;
  const jws_payload = encode_with_base64(payload);

  const signing_input = `${jws_header}.${jws_payload}`;
  const encoded_signature = hmacSha256(secret_key, signing_input);
  const token = `${jws_header}.${jws_payload}.${encoded_signature}`;
  console.log(token);

  const http_headers = {
    "Date": Utilities.formatDate(today, 'GMT', 'E, dd MMM yyyy HH:mm:ss z'),
    "Authorization": `Bearer ${token}`,
    "Content-Type":content_type
  }
  const resp = UrlFetchApp.fetch(endpoint, {
    "data": request_body_json,
    "headers": http_headers,
    "method": method,
  });
  console.log(resp.getContentText());
}

/**
 * SHA 256でハッシュ化
 * @param {string} input - ハッシュ化する文字列
 * @return {string} - ハッシュ値
 */
function calc_sha256_digest(input) {
  const rawHash = Utilities.computeDigest(Utilities.DigestAlgorithm.SHA_256, input, Utilities.Charset.UTF_8);
  let txtHash = '';
  for (i = 0; i < rawHash.length; i++) {
    let hashVal = rawHash[i];
    if (hashVal < 0) {
      hashVal += 256;
    }
    if (hashVal.toString(16).length == 1) {
      txtHash += '0';
    }
    txtHash += hashVal.toString(16);
  }
  return txtHash
}

/**
 * base64エンコード
 * @param {string} input - エンコードしたい文字列
 * @return {string} - base64エンコードされた文字列
 */
function encode_with_base64(input) {
  return Utilities.base64Encode(input, Utilities.Charset.UTF_8)
}

/**
 * HMAC SHA 256でハッシュ化
 * @param {string} key - ハッシュ化するシークレットキー
 * @param {string} text - ハッシュ化する文字列
 * @return {string} - ハッシュ値
 */
function hmacSha256(key, text) {
  const rowHash = Utilities.computeHmacSignature(Utilities.MacAlgorithm.HMAC_SHA_256, text, key);
  return Utilities.base64Encode(rowHash);
};

/**
 * 昨日の日付を計算
 * @param {date} date - 今日の日付
 * @return {date} - 昨日の日付（YYYY-MM-DD形式）
 */
function getYesterday(date) {
  date.setDate(date.getDate() - 1);
  const yesterday = Utilities.formatDate(date, 'JMT', 'yyyy-MM-dd');
  return yesterday
}
```

### エラーの原因っぽいところ
エラーメッセージ的には`token` が間違っているみたいなんですが...。
Pythonで`print(tokne)` とした結果と、GASで`console.log(token)` とした結果は完全に一致していました。

だとすると最後のHTTPリクエストのところなのかなと...。
Pythonだと
```Python
resp = urllib.request.Request(endpoint, data=request_body_json.encode(), headers=http_headers, method=method)
```
と書いていて、GASでは
```JavaScript
const resp = UrlFetchApp.fetch(endpoint, {
    "data": request_body_json,
    "headers": http_headers,
    "method": method,
  });
```
と書いているのですが、このあたりは自信がないです。

「Pythonは`request_body_json` をエンコードしてるけどこれってバイト列に変えてるってこと...？GAS（JavaScript）にバイト列ってあるっけ...？これ変換しないとだめなのか...？」となっています。

Pythonに関してはかなり知識不足なところがありますが、上記誤っている箇所がお分かりになる方いらっしゃいましたら、ご教示いただけるととても勉強になります...。よろしくお願いいたします...。

### 補足
この「LINE Ads APIのPython→GAS変換」は以前にも当サイトで質問させていただいたことがありました。
今回と直接関係するか分かりませんが、こちらも記載させていただきます。

[Pythonで書かれたLINE Ads APIのサンプルコードをGAS(JavaScript)に翻訳したい](https://teratail.com/questions/jh62abgfnivhpm)

【GAS】Pythonならきちんと動いてるLINE Ads APIのHTTPリクエストをGASでも動かしたい

### 実現したいこと
スクレイピングで画像/動画作品を収集する際、各Webページにアクセスした時に、作品が表示される場合は取得し、表示されない場合は取得しないようにしたい（私の１つ前の質問とは内容が異なります）。

### 前提

閲覧頂きありがとうございます。
現在、danbooruというイラスト投稿サイトにおいて、特定のタグが付与されている作品を収集するソースコードを作っています。

下部に掲示しているソースコードの仕組みについて説明します。
まず以下のページのhtmlをrequestしたあとに作品を収集します。
https://danbooru.donmai.us/posts/6632499?q=jolteon
その後、nextクラスにある次のページのhtmlをrequestして作品を収集します。
https://danbooru.donmai.us/posts/6619855?q=jolteon
そしてまたnextクラスにある次のページのURLをrequestして作品を収集するというのを繰り返してスクレイピングを行います。

そして、danbooruの特徴として、擬人化（？）である一部の作品は、左上にある「Disable all」を押さないと表示されないようになっています。２つ目のURLの次のページは下記のURLであり、表示されない作品ページに該当いたします。
https://danbooru.donmai.us/posts/6619346?q=jolteon 

その上で私のやりたいことは、3つ目のURLにあるような、擬人化されているため表示を制限されており「Disable all」を押さないといけない作品は収集しないように設定することです。現状のソースコードでは、表示を制限されている作品であろうとなかろうと収集してしまいます。

上記のことを実現するためのお力添えをいただきたいです。よろしくお願い致します。

```

### 該当のソースコード


import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/jolteon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6632499?q=jolteon"

for page in range(end_times):
    response = requests.get(url)

    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    soup = BeautifulSoup(response.text, "html.parser")

    try:
        source = soup.find("img", id="image").get("src") 
    except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
        source = soup.find("video").get("src")
    
    img = requests.get(source)

    with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
        f.write(img.content)

    time.sleep(1)

    next = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next}"   #次のページのURLを作成
```

### 試したこと
調べてみた結果、Seleniumを使うと実現できるのではないかと思いました。ですが、その場合は動作が遅くなるデメリットがあるためできるだけ使用したくありません。

加えて、開発者ツールを除いてみると、擬人化の作品ページには下の写真のような黄色で示してある部分がありました。ですがその部分はrenposeで解析したhtmlにはなかったため、find等で認識ができないという状態です。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-09-25/bbc019da-97d7-4e3e-87e9-27591c6fa6aa.png)

### 補足情報（FW/ツールのバージョンなど）
Python==3.11.5
requests==2.31.0
beautifulsoup4==4.12.2



BeautifulSoupを用いたスクレイピングの画像収集条件の設定が上手くできない

### 実現したいこと

- [ ] HttpURLConnectionオブジェクトを使用してhttpリクエストを発行し、APIを実行したい

### 前提
組織内のみで利用しているwebシステムからhttpリクエストを発行し、
インターネット上の配置されているAPIを実行する機能を作成しています。
httpリクエストを発行する処理で、レスポンスコード:411(Length Required)が発生しています。

### 発生している問題・エラーメッセージ

```
レスポンスを確認しているコード
int statusCode = con.getResponseCode();
if (statusCode == con.HTTP_OK) {
	system.out.println("success");
	system.out.println("STATUS:" + statusCode);
	system.out.println("MSG:" + con.getResponseMessage());
} else {
	system.out.println("fault");
	system.out.println("STATUS:" + statusCode);
	system.out.println("MSG:" + con.getResponseMessage());
}
コンソール表示
fault
STATUS:411
MSG:Length Required
```

### 該当のソースコード

```Java8
ソースコード
		try {
			// URL作成
			URL url = new URL("https://hogehoge/post?SYSTEM_ID=" + systemID);
			// 接続用HttpURLConnectionオブジェクト作成
			HttpURLConnection con = (HttpURLConnection)url.openConnection();
			// リクエストメソッドの設定
			con.setRequestMethod("POST");
			// リクエストのボディ送信を許可
			con.setDoOutput(true);
			// リクエストのボディ受信を許可
			con.setDoInput(true);
			// ヘッダーの設定
			con.setRequestProperty("APIKEY", "APIの認証キー");
			con.setRequestProperty("Content-Type", "application/json;charset=utf-8");

			// 接続
			con.connect();

           //レスポンス確認
			int statusCode = con.getResponseCode();
			if (statusCode == con.HTTP_OK) {
				system.out.println("success");
				system.out.println("STATUS:" + statusCode);
				system.out.println("MSG:" + con.getResponseMessage());
			} else {
				system.out.println("fault");
				system.out.println("STATUS:" + statusCode);
				system.out.println("MSG:" + con.getResponseMessage());
			}

			con.disconnect();

		} catch (IOException e) {
			system.out.println("NG");
			// TODO 自動生成された catch ブロック
			e.printStackTrace();
		}
```

### 試したこと

レスポンスコード:４１１は、[Content-Length]の不備が原因とのことだったため、
以下のコード追加して動作検証しました。
結果としてはレスポンス確認している[int statusCode = con.getResponseCode();]の箇所で
エラーが発生するようになり、レスポンス確認すらできない状態になりました。
また、con.getContentLength()のコマンドで設定内容を確認すると常に"-1"が返却され、
con.getRequestProperty("content-length")で設定内容を確認すると設定した値が返却されます。

以下のコードを[con.connect();]の前に追加。
```
System.setProperty("sun.net.http.allowRestrictedHeaders", "true");

// content-lengthの設定
byte[] data = ("https://hogehoge/post?SYSTEM_ID=" + systemID).getBytes("UTF-8");
con.setRequestProperty("content-length",  String.valueOf(data.length));
```

※HttpURLConnectionでは、[content-length]を設定しても↑の1行目の設定をしないと暗黙的に削除してしまうとの情報があったため追加

### 補足情報（FW/ツールのバージョンなど）

・APサーバ：Linux
　（httpリクエストが通るように対象URLのIPアドレスは許可している）
・フレームワーク：Terasoluna
・使用オブジェクト：HttpURLConnection
(Java8環境で使用できるオブジェクトがこれしか見つからなかったため）

本処理実装に取り掛かってから、3日間調査していますが、解決策が見つかりません。
どうかご協力のほどよろしくお願いします。
