常連

### 解決したいこと
- LINE広告APIドキュメントにある、[パフォーマンスレポートを作成するPOSTリクエスト](https://ads.line.me/public-docs/v3/3.9.1/certificated-ad-tech-general-partner#_createreport)をGAS（Google Apps Script）で動かしたい
- サンプルコードがPythonだったので、Pythonで書いてみたところ動いたが、これをGASでとなると思ったようにいかない

### 開発の背景
- LINE広告のパフォーマンスレポートをスプレッドシートに自動で書き出したい
- 他にGoogle広告やYahoo!広告のデータ抽出もすでにGASで実装しているため、できればGASで書きたい

### 発生しているエラー
```
Request failed for https://ads.line.me returned code 401.
Truncated server response: {"errors":[{"reason":"Unauthorized","message":"Request digest is invalid."}]}
```
エラーコードをドキュメントで調べてみると、
> 401　The token specified in 'Authorization' header is invalid.
「Authorization ヘッダーで指定されたトークンが無効」だと言われます。

ただ、Authorization ヘッダーに渡している`token` という変数の中身は、PythonでもGASでも一致しているんです...。ここが今一番混乱しているところです。

以下が「レスポンスが返ってくるPythonのコード」と「エラーで返ってくるGASのコード」です。
変数名も全体の構成もなるべく同じにしています。

#### Python
```Python
import base64
import datetime
import hashlib
import hmac
from inspect import signature
import json
import urllib.request
from datetime import datetime, timedelta

def calc_sha256_digest(content: str) -> str:
    sha256 = hashlib.new('sha256')
    sha256.update(content.encode())
    return sha256.hexdigest()

def encode_with_base64(value: bytes) -> str:
    return base64.urlsafe_b64encode(value).decode()

if __name__ == '__main__':
    # Setting parameters for your request
    today = datetime.now()
    yesterday = (today - timedelta(1)).strftime('%Y-%m-%d')
    accountId = "A00000000000"
    
    access_key = "XXXXXXXXXXXXXXXX"
    secret_key = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
    method = "POST"
    canonical_url = "/api/v3/adaccounts/" + accountId + "/pfreports"
    url_parameters = ""
    request_body = {
        "level":"ADACCOUNT",
        "since": yesterday,
        "until": yesterday,
        "filtering":{
            "idType":"ADACCOUNT",
            "ids":[accountId]
        },
        "fileFormat":"CSV"
    }
    has_request_body = request_body is not None

    endpoint = 'https://ads.line.me' + canonical_url + url_parameters
    request_body_json = json.dumps(request_body) if has_request_body else ""
    content_type = 'application/json' if has_request_body else ""

    jws_header = encode_with_base64(
        json.dumps({
            "alg": "HS256",
            "kid": access_key,
            "typ": "text/plain"
        }).encode()
    )

    hex_digest = calc_sha256_digest(request_body_json)
    payload_date = today.strftime('%Y%m%d')
    payload = "%s\n%s\n%s\n%s" % (hex_digest, content_type, payload_date, canonical_url)
    jws_payload = encode_with_base64(payload.encode())

    signing_input = "%s.%s" % (jws_header, jws_payload)
    signature = hmac.new(
        secret_key.encode(),
        signing_input.encode(),
        hashlib.sha256
    ).digest()
    encoded_signature = encode_with_base64(signature)
    token = "%s.%s.%s" % (jws_header, jws_payload, encoded_signature)
    print(token)

    http_headers = {
        "Date": today.strftime('%a, %d %b %Y %H:%M:%S GMT'),
        "Authorization": "Bearer %s" % token
    }
    if has_request_body:
        http_headers["Content-Type"] = content_type
        req = urllib.request.Request(endpoint, data=request_body_json.encode(), headers=http_headers, method=method)
    else:
        req = urllib.request.Request(endpoint, headers=http_headers, method=method)

    with urllib.request.urlopen(req) as res:
        resp = res.read()
    print(resp.decode())
```

#### GAS
```JavaScript
function main() {
  const today = new Date();
  const yesterday = getYesterday(new Date());
  const accountId = "A00000000000";

  const access_key = "XXXXXXXXXXXXXXXX";
  const secret_key = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX";
  const method = "POST";
  const canonical_url = `/api/v3/adaccounts/${accountId}/pfreports`;
  const url_parameters = "";
  const request_body = {
    "level":"ADACCOUNT",
    "since":yesterday,
    "until":yesterday,
    "filtering": {
      "idType": "ADACCOUNT",
      "ids": [accountId]
    },
    "fileFormat": "CSV"
  };
  const has_request_body = request_body

  const endpoint = "https://ads.line.me" + canonical_url + url_parameters;
  const request_body_json = JSON.stringify(request_body).replace(/:/g, ': ').replace(/,/g, ', ');
  const content_type = "application/json";

  const jws_header = encode_with_base64(JSON.stringify({
    "alg":"HS256",
    "kid":access_key,
    "typ":"text/plain"
  }).replace(/:/g, ': ').replace(/,/g, ', '));
  
  const hex_digest = calc_sha256_digest(request_body_json);
  const payload_date = Utilities.formatDate(today, 'JST', 'yyyyMMdd');
  const payload = `${hex_digest}\n${content_type}\n${payload_date}\n${canonical_url}`;
  const jws_payload = encode_with_base64(payload);

  const signing_input = `${jws_header}.${jws_payload}`;
  const encoded_signature = hmacSha256(secret_key, signing_input);
  const token = `${jws_header}.${jws_payload}.${encoded_signature}`;
  console.log(token);

  const http_headers = {
    "Date": Utilities.formatDate(today, 'GMT', 'E, dd MMM yyyy HH:mm:ss z'),
    "Authorization": `Bearer ${token}`,
    "Content-Type":content_type
  }
  const resp = UrlFetchApp.fetch(endpoint, {
    "data": request_body_json,
    "headers": http_headers,
    "method": method,
  });
  console.log(resp.getContentText());
}

/**
 * SHA 256でハッシュ化
 * @param {string} input - ハッシュ化する文字列
 * @return {string} - ハッシュ値
 */
function calc_sha256_digest(input) {
  const rawHash = Utilities.computeDigest(Utilities.DigestAlgorithm.SHA_256, input, Utilities.Charset.UTF_8);
  let txtHash = '';
  for (i = 0; i < rawHash.length; i++) {
    let hashVal = rawHash[i];
    if (hashVal < 0) {
      hashVal += 256;
    }
    if (hashVal.toString(16).length == 1) {
      txtHash += '0';
    }
    txtHash += hashVal.toString(16);
  }
  return txtHash
}

/**
 * base64エンコード
 * @param {string} input - エンコードしたい文字列
 * @return {string} - base64エンコードされた文字列
 */
function encode_with_base64(input) {
  return Utilities.base64Encode(input, Utilities.Charset.UTF_8)
}

/**
 * HMAC SHA 256でハッシュ化
 * @param {string} key - ハッシュ化するシークレットキー
 * @param {string} text - ハッシュ化する文字列
 * @return {string} - ハッシュ値
 */
function hmacSha256(key, text) {
  const rowHash = Utilities.computeHmacSignature(Utilities.MacAlgorithm.HMAC_SHA_256, text, key);
  return Utilities.base64Encode(rowHash);
};

/**
 * 昨日の日付を計算
 * @param {date} date - 今日の日付
 * @return {date} - 昨日の日付（YYYY-MM-DD形式）
 */
function getYesterday(date) {
  date.setDate(date.getDate() - 1);
  const yesterday = Utilities.formatDate(date, 'JMT', 'yyyy-MM-dd');
  return yesterday
}
```

### エラーの原因っぽいところ
エラーメッセージ的には`token` が間違っているみたいなんですが...。
Pythonで`print(tokne)` とした結果と、GASで`console.log(token)` とした結果は完全に一致していました。

だとすると最後のHTTPリクエストのところなのかなと...。
Pythonだと
```Python
resp = urllib.request.Request(endpoint, data=request_body_json.encode(), headers=http_headers, method=method)
```
と書いていて、GASでは
```JavaScript
const resp = UrlFetchApp.fetch(endpoint, {
    "data": request_body_json,
    "headers": http_headers,
    "method": method,
  });
```
と書いているのですが、このあたりは自信がないです。

「Pythonは`request_body_json` をエンコードしてるけどこれってバイト列に変えてるってこと...？GAS（JavaScript）にバイト列ってあるっけ...？これ変換しないとだめなのか...？」となっています。

Pythonに関してはかなり知識不足なところがありますが、上記誤っている箇所がお分かりになる方いらっしゃいましたら、ご教示いただけるととても勉強になります...。よろしくお願いいたします...。

### 補足
この「LINE Ads APIのPython→GAS変換」は以前にも当サイトで質問させていただいたことがありました。
今回と直接関係するか分かりませんが、こちらも記載させていただきます。

[Pythonで書かれたLINE Ads APIのサンプルコードをGAS(JavaScript)に翻訳したい](https://teratail.com/questions/jh62abgfnivhpm)

【GAS】Pythonならきちんと動いてるLINE Ads APIのHTTPリクエストをGASでも動かしたい

### 前提

PythonのRequestsのgetを使ってコードを書いています

### 実現したいこと

- [ ] getを使ってResponseを取得したい![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-01-29/fa579e67-ea53-453f-a252-8d2678c3868a.png)

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\models.py", line 971, in json
    return complexjson.loads(self.text, **kwargs)
  File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\json\__init__.py", line 346, in loads
    return _default_decoder.decode(s)
  File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "c:\Users\user\Documents\python-codes\example\main.py", line 25, in <module>
    r = requests.get(f'https://~~~/~~~LinkInfo?verificationCode={g(8)}', headers={'content-type': 'application/json'}).json()
  File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\models.py", line 975, in json
    raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)
requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
```

### 該当のソースコード

```py
import requests, json
r = requests.get(f'https://~~~/~~~LinkInfo?verificationCode=example1234', headers={'content-type': 'application/json'}).json()
print(r)
```
~~の部分は普通のリンクです
ただ見せたくないだけです

### 試したこと

json形式かを見直したりした

### 補足情報（FW/ツールのバージョンなど）

Python 3.10


PythonのRequests.getを使ってResponseを取得したい

現在とあるセンサとの通信システムの開発を行っています

そのセンサ会社からは、POSTメソッドでデータを送信する仕様と聞いていたのですが、実際に通信テストを行ったところ、BODY部分（form）にはデータが含まれておらず、GETメソッドでのリクエストのようにURLの後ろへデータが付加されていました。（例えばhttp://192.168.1.1?aaa=bbbのようなイメージです）

その為、先方に対し、BODY部へデータを格納し、URLの後ろへはデータを付加しないよう修正を依頼したいと考えていましたが、通常のPOST通信の方法とは異なると思いますが、「POST通信でデータを送る」という内容に間違いはありませんでしたので、修正を依頼してよいものか悩んでいます

このようにPOST通信であるのにURLの後ろにデータを付加して通信するのはHTTPの通信規約などには違反していないのでしょうか？それとも正常な通信方法でしょうか？
ご教示ください

POST通信なのにURLの後にパラメータを付与するのはアリ？

###概要
PHPなどでのサーバー開発をすることは得意ですが、
Webネットワークの知識が少し薄く、
サーバー通信時の通信量が実際数値としてどれほどのものかわかりません。
GoogleChromeのコンソールを見るも、いまいちピンとこず・・・といった感じです。

###知りたいこと

たとえばですが

http://example.com/ あるいは https://example.com/
にPOSTパラメーターとしてx=100が付与されているものとする。
その場合、以下ソースコード
```php
<?php
echo $_REQUEST["x"];
exit;
```
が実行され、
```
100
```
が出力されるものとする。
その場合、httpとhttps、それぞれどの程度の通信量が発生するのでしょうか？
※大雑把で大丈夫です、理屈がわかればだいたいの予測はつきます。
恐らく、リクエストおよびレスポンスそれぞれで発生するのだと思っています。
なんとなくでは把握していますが、かなり曖昧な知識なので詳細を知りたいと思っています。

お手数をおかけいたしますが、よろしくお願いいたします。

http、httpsでのサーバー通信時の通信量について

### 目的
C#でHTTP通信を行い、その結果を取得したいと思っています。
（最終的にはWeb APIを叩くことが目的です）
資料となるサイトを参考にコードを書いてみたのですが応答が返らず、対処方法が分からないので教えていただきたいです。

### 実装
まっさらなC#/Formsアプリに、ボタンを一つだけ用意します。
ボタンを押すとWebアクセスを試みるだけのプログラムです。

[フォーム側(ボタンを押すとアクセス)]
```C#
    public partial class MainWindow : Form
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        private void btnRequest_Click(object sender, EventArgs e)
        {
            Uri uri = new Uri("http://www.google.com");
            // ここでwebアクセスを行う
            Task<string> webTask = WebConn.GetApiAsync(uri);
            string result = webTask.Result;
            Console.WriteLine(result);
        }
    }
```

[アクセス処理(WebConn)]
```C#
    public class WebConn
    {
        public static async Task<string> GetApiAsync(Uri uri)
        {
            using (HttpClient client = new HttpClient())
            {
                // ヘッダ情報設定
                client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko");
                client.DefaultRequestHeaders.Add("Accept-Language", "ja-JP");
                client.Timeout = TimeSpan.FromSeconds(5.0);

                try
                {
                    // 実際のアクセス処理はここだけ
                    string res = await client.GetStringAsync(uri);
                    // ここに辿りつけない
                    return res;
                } catch(HttpRequestException e)
                {
                    // 例外処理（省略）
                }
                return null;
            }
        }
    }
```

### 発生している問題
上記のコードを実行しフォームに用意したボタンを押したところ、ウィンドウが操作を受け付けない状態になります。
具体的には、上記コード（アクセス処理）の
`string res = await client.GetStringAsync(uri);` を実行した後、次の `return res;`に辿り着きません。
また、実行時に例外が発生することもありません。

### 参考資料
@ITの記事
http://www.atmarkit.co.jp/ait/articles/1501/06/news086.html
に掲載されているコードを、ほぼ流用しています。

### その他
C#を用いて通信を行うのは初めてです。
もしHttpClient使うより良い方法があれば教えてください。
（ところでteratailでは、C#のコードはシンタックスハイライトされないのでしょうか…？）

C#でHTTP通信を行う方法（HttpClientを用いる場合）

### 実現したいこと

flutterでwebページを作成し、AWSのlamdaで作成したRESTAPIを呼び出して、返ってきたデータを表示したいです。
しかし、ブラウザ表示の際にCORSのエラーが発生して表示ができないです。
エミュレーターでは問題なく表示されます。

### 発生している問題・エラーメッセージ

```
/awsapi/web/#/:1 Access to XMLHttpRequest at 'https://... from origin 'https://hoge.jp’ has been blocked by CORS policy: Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource.

aaaa.execute-api.ap-northeast-1.amazonaws.com/default/bbb:1          Failed to load resource: net::ERR_FAILED

```


### 試したこと

AWSのAPI GATEWAYのCORSの設定を変更。




lamdaで作成されたRESTAPIのアクセスで、CORSエラー

Windows10Pro x64 ＋ VS2017 ＋ .NET Framework3.5で、以下のコードで例外出ない方、いらっしゃいますでしょうか。
あるいは、解決方法どなたかご存知でしょうか。

```
HttpWebRequest req = (HttpWebRequest)WebRequest.Create("https://www.tanabe-ind.co.jp/");
req.Timeout = 900000;
using (HttpWebResponse res = (HttpWebResponse)req.GetResponse())	//ここで例外
{
}

```

```
System.Net.WebException: '基礎になる接続が閉じられました: 送信時に、予期しないエラーが発生しました。'
内部例外:
IOException: トランスポート ストリームから予期しない EOF または 0 バイトを受信しました。
```

ちなみに同じコードで.NET Framework4.0なら通ります。
また、上記以外の大抵のサイト（例えば https://www.google.co.jp/）も通ります。
上記サイトはie等ブラウザで普通に見れるところです。

Fiddlerで確認したリクエストヘッダは以下の通り。

ieのリクエストヘッダ
```
CONNECT www.tanabe-ind.co.jp:443 HTTP/1.0
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
Content-Length: 0
Host: www.tanabe-ind.co.jp
Connection: Keep-Alive
Pragma: no-cache

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.3 (TLS/1.2)
～以下略～
```

上記コードでのヘッダ（.net3.5・4.0同じ）
```
CONNECT www.tanabe-ind.co.jp:443 HTTP/1.1
Host: www.tanabe-ind.co.jp
Connection: Keep-Alive

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.1 (TLS/1.0)
～以下略～
```

色々調べて、事前に下記コードを入れたりもしましたが駄目でした。
TLS/1.2でも1.0でも、.net4.0なら通り、3.5なら例外です。

```
ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3 | SecurityProtocolType.Tls | (SecurityProtocolType)0x00000C00 | (SecurityProtocolType)0x00000300;
```

あと、足りないヘッダを補おうと下記コードを入れても、送り先がhttpsだとヘッダに変化無いのはそういうものでしょうか。（.net3.5・4.0両方とも）

```
req.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko";
req.ContentLength = 0;
req.KeepAlive = true;
req.Headers["TEST"] = "TEST";
```

.NET4系に移行してしまえば済む話なのですが、とりあえず解決はしておきたく、ここに書きました。どなたか情報ご存知でしたらお願いします。

.NET3.5 HttpWebRequest.GetResponse()の例外について

### 前提

Imgur の API を利用していますが、レート制限に達していないと思われるにも関わらず429 Too Many Requestsが返されます。

なにか問題は考えられますか？

##### レスポンス
```json
{
    "errors": [
        {
            "id": "legacy-api-86869d4c8c-f755t/Wtq1naVA0s-051815",
            "code": "429",
            "status": "Too Many Requests",
            "detail": "Too Many Requests"
        }
    ]
}
```
##### レスポンスヘッダ
```json
{
    "Connection": "keep-alive",
    "Content-Length": "142",
    "Content-Type": "application/vnd.imgur.v1+json",
    "Content-Encoding": "gzip",
    "Imgur-Media-Type": "imgur.v1; param=full; format=json",
    "X-Post-Rate-Limit-Limit": "1250",
    "X-Post-Rate-Limit-Remaining": "1204",
    "X-Post-Rate-Limit-Reset": "2788",
    "X-Ratelimit-Clientlimit": "12500",
    "X-Ratelimit-Clientremaining": "12450",
    "X-Ratelimit-Clientreset": "83609",
    "X-Ratelimit-Userlimit": "500",
    "X-Ratelimit-Userremaining": "449",
    "X-Ratelimit-Userreset": "660",
    "Accept-Ranges": "bytes",
    "Date": "Fri, 16 Dec 2022 19:38:15 GMT",
    "X-Served-By": "cache-bur-kbur8200048-BUR",
    "X-Cache": "MISS",
    "X-Cache-Hits": "0",
    "X-Timer": "S1671219495.314450,VS0,VE263",
    "access-control-allow-methods": "GET, PUT, POST, PATCH, DELETE, OPTIONS",
    "Server": "cat factory 1.0",
    "Access-Control-Allow-Origin": "*",
    "Access-Control-Allow-Credentials": "true",
    "X-Frame-Options": "DENY",
    "Access-Control-Allow-Headers": "Authorization, Content-Type, Accept, X-Mashape-Authorization, IMGURPLATFORM, IMGURUIDJAFO, sessionCount, IMGURMWBETA, IMGURMWBETAOPTIN, X-expSNKPK127, X-Imgur-Defender-Bypass"
}
```

プログラムは以下の関数を単純にfor文で回して画像を50枚ほどアップロードしようとしています。

##### アップロードに使った関数
```Python
    def upload_url(self, libkey, src_link) -> str:
        res = requests.post(
            'https://api.imgur.com/3/upload',
            data={'image': src_link, 'type': 'url'},
            headers={'Authorization': 'Client-ID ' + self.client_id}
        )
        decode_res = res.json()
        try:
            status = decode_res['status']
            if not status // 100 == 2:
                raise RuntimeError()
        except (KeyError, RuntimeError):
            log_path = 'error_' + datetime.now().strftime('%Y-%m-%d_%H-%M-%S') + '.json'
            with open(log_path, 'wb') as f:
                f.write(res.content)
            log_path2 = 'res_header_' + datetime.now().strftime('%Y-%m-%d_%H-%M-%S') + '.json'
            with open(log_path2, 'w') as f:
                json.dump(dict(res.headers), f, indent=4, ensure_ascii=False)
            raise RuntimeError(f"upload error. see {log_path} and {log_path2}")
        
        data = decode_res['data']
        self.library[libkey] = {}
        self.library[libkey]['id'] = data['id']
        self.library[libkey]['deletehash'] = data['deletehash']
        self.library[libkey]['link'] = data['link']
        self.library[libkey]['datetime'] = data['datetime']

        with open(self.savedata_path, 'w') as f:
            json.dump({'library': self.library}, f, indent=4, ensure_ascii=False)

        return data['link']
```