常連

### 実現したいこと
スクレイピングで画像/動画作品を収集する際、各Webページにアクセスした時に、作品が表示される場合は取得し、表示されない場合は取得しないようにしたい（私の１つ前の質問とは内容が異なります）。

### 前提

閲覧頂きありがとうございます。
現在、danbooruというイラスト投稿サイトにおいて、特定のタグが付与されている作品を収集するソースコードを作っています。

下部に掲示しているソースコードの仕組みについて説明します。
まず以下のページのhtmlをrequestしたあとに作品を収集します。
https://danbooru.donmai.us/posts/6632499?q=jolteon
その後、nextクラスにある次のページのhtmlをrequestして作品を収集します。
https://danbooru.donmai.us/posts/6619855?q=jolteon
そしてまたnextクラスにある次のページのURLをrequestして作品を収集するというのを繰り返してスクレイピングを行います。

そして、danbooruの特徴として、擬人化（？）である一部の作品は、左上にある「Disable all」を押さないと表示されないようになっています。２つ目のURLの次のページは下記のURLであり、表示されない作品ページに該当いたします。
https://danbooru.donmai.us/posts/6619346?q=jolteon 

その上で私のやりたいことは、3つ目のURLにあるような、擬人化されているため表示を制限されており「Disable all」を押さないといけない作品は収集しないように設定することです。現状のソースコードでは、表示を制限されている作品であろうとなかろうと収集してしまいます。

上記のことを実現するためのお力添えをいただきたいです。よろしくお願い致します。

```

### 該当のソースコード


import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/jolteon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6632499?q=jolteon"

for page in range(end_times):
    response = requests.get(url)

    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    soup = BeautifulSoup(response.text, "html.parser")

    try:
        source = soup.find("img", id="image").get("src") 
    except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
        source = soup.find("video").get("src")
    
    img = requests.get(source)

    with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
        f.write(img.content)

    time.sleep(1)

    next = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next}"   #次のページのURLを作成
```

### 試したこと
調べてみた結果、Seleniumを使うと実現できるのではないかと思いました。ですが、その場合は動作が遅くなるデメリットがあるためできるだけ使用したくありません。

加えて、開発者ツールを除いてみると、擬人化の作品ページには下の写真のような黄色で示してある部分がありました。ですがその部分はrenposeで解析したhtmlにはなかったため、find等で認識ができないという状態です。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-09-25/bbc019da-97d7-4e3e-87e9-27591c6fa6aa.png)

### 補足情報（FW/ツールのバージョンなど）
Python==3.11.5
requests==2.31.0
beautifulsoup4==4.12.2



BeautifulSoupを用いたスクレイピングの画像収集条件の設定が上手くできない

### 実現したいこと

powershellでAPI連携の実装を行いたい。
実装に際して、Invoke-RestMethodでリクエストした内容（電文）を取得したい。
ググってもわからなかったため、もし有識者いらっしゃれば。必要な情報等あればコメントください。

PowerShellでのAPI　リクエスト内容（電文）の取得方法

現在とあるセンサとの通信システムの開発を行っています

そのセンサ会社からは、POSTメソッドでデータを送信する仕様と聞いていたのですが、実際に通信テストを行ったところ、BODY部分（form）にはデータが含まれておらず、GETメソッドでのリクエストのようにURLの後ろへデータが付加されていました。（例えばhttp://192.168.1.1?aaa=bbbのようなイメージです）

その為、先方に対し、BODY部へデータを格納し、URLの後ろへはデータを付加しないよう修正を依頼したいと考えていましたが、通常のPOST通信の方法とは異なると思いますが、「POST通信でデータを送る」という内容に間違いはありませんでしたので、修正を依頼してよいものか悩んでいます

このようにPOST通信であるのにURLの後ろにデータを付加して通信するのはHTTPの通信規約などには違反していないのでしょうか？それとも正常な通信方法でしょうか？
ご教示ください

POST通信なのにURLの後にパラメータを付与するのはアリ？

### 目的
C#でHTTP通信を行い、その結果を取得したいと思っています。
（最終的にはWeb APIを叩くことが目的です）
資料となるサイトを参考にコードを書いてみたのですが応答が返らず、対処方法が分からないので教えていただきたいです。

### 実装
まっさらなC#/Formsアプリに、ボタンを一つだけ用意します。
ボタンを押すとWebアクセスを試みるだけのプログラムです。

[フォーム側(ボタンを押すとアクセス)]
```C#
    public partial class MainWindow : Form
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        private void btnRequest_Click(object sender, EventArgs e)
        {
            Uri uri = new Uri("http://www.google.com");
            // ここでwebアクセスを行う
            Task<string> webTask = WebConn.GetApiAsync(uri);
            string result = webTask.Result;
            Console.WriteLine(result);
        }
    }
```

[アクセス処理(WebConn)]
```C#
    public class WebConn
    {
        public static async Task<string> GetApiAsync(Uri uri)
        {
            using (HttpClient client = new HttpClient())
            {
                // ヘッダ情報設定
                client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko");
                client.DefaultRequestHeaders.Add("Accept-Language", "ja-JP");
                client.Timeout = TimeSpan.FromSeconds(5.0);

                try
                {
                    // 実際のアクセス処理はここだけ
                    string res = await client.GetStringAsync(uri);
                    // ここに辿りつけない
                    return res;
                } catch(HttpRequestException e)
                {
                    // 例外処理（省略）
                }
                return null;
            }
        }
    }
```

### 発生している問題
上記のコードを実行しフォームに用意したボタンを押したところ、ウィンドウが操作を受け付けない状態になります。
具体的には、上記コード（アクセス処理）の
`string res = await client.GetStringAsync(uri);` を実行した後、次の `return res;`に辿り着きません。
また、実行時に例外が発生することもありません。

### 参考資料
@ITの記事
http://www.atmarkit.co.jp/ait/articles/1501/06/news086.html
に掲載されているコードを、ほぼ流用しています。

### その他
C#を用いて通信を行うのは初めてです。
もしHttpClient使うより良い方法があれば教えてください。
（ところでteratailでは、C#のコードはシンタックスハイライトされないのでしょうか…？）

C#でHTTP通信を行う方法（HttpClientを用いる場合）

###概要
PHPなどでのサーバー開発をすることは得意ですが、
Webネットワークの知識が少し薄く、
サーバー通信時の通信量が実際数値としてどれほどのものかわかりません。
GoogleChromeのコンソールを見るも、いまいちピンとこず・・・といった感じです。

###知りたいこと

たとえばですが

http://example.com/ あるいは https://example.com/
にPOSTパラメーターとしてx=100が付与されているものとする。
その場合、以下ソースコード
```php
<?php
echo $_REQUEST["x"];
exit;
```
が実行され、
```
100
```
が出力されるものとする。
その場合、httpとhttps、それぞれどの程度の通信量が発生するのでしょうか？
※大雑把で大丈夫です、理屈がわかればだいたいの予測はつきます。
恐らく、リクエストおよびレスポンスそれぞれで発生するのだと思っています。
なんとなくでは把握していますが、かなり曖昧な知識なので詳細を知りたいと思っています。

お手数をおかけいたしますが、よろしくお願いいたします。

http、httpsでのサーバー通信時の通信量について

Windows10Pro x64 ＋ VS2017 ＋ .NET Framework3.5で、以下のコードで例外出ない方、いらっしゃいますでしょうか。
あるいは、解決方法どなたかご存知でしょうか。

```
HttpWebRequest req = (HttpWebRequest)WebRequest.Create("https://www.tanabe-ind.co.jp/");
req.Timeout = 900000;
using (HttpWebResponse res = (HttpWebResponse)req.GetResponse())	//ここで例外
{
}

```

```
System.Net.WebException: '基礎になる接続が閉じられました: 送信時に、予期しないエラーが発生しました。'
内部例外:
IOException: トランスポート ストリームから予期しない EOF または 0 バイトを受信しました。
```

ちなみに同じコードで.NET Framework4.0なら通ります。
また、上記以外の大抵のサイト（例えば https://www.google.co.jp/）も通ります。
上記サイトはie等ブラウザで普通に見れるところです。

Fiddlerで確認したリクエストヘッダは以下の通り。

ieのリクエストヘッダ
```
CONNECT www.tanabe-ind.co.jp:443 HTTP/1.0
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
Content-Length: 0
Host: www.tanabe-ind.co.jp
Connection: Keep-Alive
Pragma: no-cache

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.3 (TLS/1.2)
～以下略～
```

上記コードでのヘッダ（.net3.5・4.0同じ）
```
CONNECT www.tanabe-ind.co.jp:443 HTTP/1.1
Host: www.tanabe-ind.co.jp
Connection: Keep-Alive

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.1 (TLS/1.0)
～以下略～
```

色々調べて、事前に下記コードを入れたりもしましたが駄目でした。
TLS/1.2でも1.0でも、.net4.0なら通り、3.5なら例外です。

```
ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3 | SecurityProtocolType.Tls | (SecurityProtocolType)0x00000C00 | (SecurityProtocolType)0x00000300;
```

あと、足りないヘッダを補おうと下記コードを入れても、送り先がhttpsだとヘッダに変化無いのはそういうものでしょうか。（.net3.5・4.0両方とも）

```
req.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko";
req.ContentLength = 0;
req.KeepAlive = true;
req.Headers["TEST"] = "TEST";
```

.NET4系に移行してしまえば済む話なのですが、とりあえず解決はしておきたく、ここに書きました。どなたか情報ご存知でしたらお願いします。

.NET3.5 HttpWebRequest.GetResponse()の例外について

### 実現したいこと

- [ ] HttpURLConnectionオブジェクトを使用してhttpリクエストを発行し、APIを実行したい

### 前提
組織内のみで利用しているwebシステムからhttpリクエストを発行し、
インターネット上の配置されているAPIを実行する機能を作成しています。
httpリクエストを発行する処理で、レスポンスコード:411(Length Required)が発生しています。

### 発生している問題・エラーメッセージ

```
レスポンスを確認しているコード
int statusCode = con.getResponseCode();
if (statusCode == con.HTTP_OK) {
	system.out.println("success");
	system.out.println("STATUS:" + statusCode);
	system.out.println("MSG:" + con.getResponseMessage());
} else {
	system.out.println("fault");
	system.out.println("STATUS:" + statusCode);
	system.out.println("MSG:" + con.getResponseMessage());
}
コンソール表示
fault
STATUS:411
MSG:Length Required
```

### 該当のソースコード

```Java8
ソースコード
		try {
			// URL作成
			URL url = new URL("https://hogehoge/post?SYSTEM_ID=" + systemID);
			// 接続用HttpURLConnectionオブジェクト作成
			HttpURLConnection con = (HttpURLConnection)url.openConnection();
			// リクエストメソッドの設定
			con.setRequestMethod("POST");
			// リクエストのボディ送信を許可
			con.setDoOutput(true);
			// リクエストのボディ受信を許可
			con.setDoInput(true);
			// ヘッダーの設定
			con.setRequestProperty("APIKEY", "APIの認証キー");
			con.setRequestProperty("Content-Type", "application/json;charset=utf-8");

			// 接続
			con.connect();

           //レスポンス確認
			int statusCode = con.getResponseCode();
			if (statusCode == con.HTTP_OK) {
				system.out.println("success");
				system.out.println("STATUS:" + statusCode);
				system.out.println("MSG:" + con.getResponseMessage());
			} else {
				system.out.println("fault");
				system.out.println("STATUS:" + statusCode);
				system.out.println("MSG:" + con.getResponseMessage());
			}

			con.disconnect();

		} catch (IOException e) {
			system.out.println("NG");
			// TODO 自動生成された catch ブロック
			e.printStackTrace();
		}
```

### 試したこと

レスポンスコード:４１１は、[Content-Length]の不備が原因とのことだったため、
以下のコード追加して動作検証しました。
結果としてはレスポンス確認している[int statusCode = con.getResponseCode();]の箇所で
エラーが発生するようになり、レスポンス確認すらできない状態になりました。
また、con.getContentLength()のコマンドで設定内容を確認すると常に"-1"が返却され、
con.getRequestProperty("content-length")で設定内容を確認すると設定した値が返却されます。

以下のコードを[con.connect();]の前に追加。
```
System.setProperty("sun.net.http.allowRestrictedHeaders", "true");

// content-lengthの設定
byte[] data = ("https://hogehoge/post?SYSTEM_ID=" + systemID).getBytes("UTF-8");
con.setRequestProperty("content-length",  String.valueOf(data.length));
```

※HttpURLConnectionでは、[content-length]を設定しても↑の1行目の設定をしないと暗黙的に削除してしまうとの情報があったため追加

### 補足情報（FW/ツールのバージョンなど）

・APサーバ：Linux
　（httpリクエストが通るように対象URLのIPアドレスは許可している）
・フレームワーク：Terasoluna
・使用オブジェクト：HttpURLConnection
(Java8環境で使用できるオブジェクトがこれしか見つからなかったため）

本処理実装に取り掛かってから、3日間調査していますが、解決策が見つかりません。
どうかご協力のほどよろしくお願いします。


httpリクエスト発行時の411エラーの解消

### 実現したいこと
[VoicevoxWebAPI](https://voicevox.su-shiki.com/su-shikiapis/ttsquest/)
VoicevoxをWebAPIで実行して結果を取得したいのですが
stringからJSONに変換した時点で変数に格納された値が消えてしまいます。
(日本語全角文字とURL部分)

WebAPIからのレスポンス
```
{"success":true,"isApiKeyValid":false,"speakerName":"VOICEVOX:\u56db\u56fd\u3081\u305f\u3093\uff08\u3042\u307e\u3042\u307e\uff09","audioStatusUrl":"https:\/\/audio1.tts.quest\/v1\/data\/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6\/status.json","wavDownloadUrl":"https:\/\/audio1.tts.quest\/v1\/data\/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6\/audio.wav","mp3DownloadUrl":"https:\/\/audio1.tts.quest\/v1\/data\/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6\/audio.mp3","mp3StreamingUrl":"https:\/\/audio1.tts.quest\/v1\/data\/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6\/audio.mp3s"}
```

そのままJsonにデシリアライズした結果
```C#
success:True
isApiKeyValid:False
speakerName:
audioStatusUrl:
wavDownloadUrl:
mp3DownloadUrl:
mp3StreaminUrl:
```


### 発生している問題・分からないこと
WebAPIからのレスポンスに\uがついていたのでUnicodeだと思い変換したのですが変化がありませんでした

変換前
```
"speakerName":"VOICEVOX:\u56db\u56fd\u3081\u305f\u3093\uff08\u3042\u307e\u3042\u307e\uff09",
```
UnicodeからUTF8に変換
```
unicode to utf8
VOICEVOX:\u56db\u56fd\u3081\u305f\u3093\uff08\u3042\u307e\u3042\u307e\uff09
```

Regex.Unescape()で変換するとエスケープ文字を消せたのですが、jsonは空白でした
```
un escape
VOICEVOX:四国めたん（あまあま）

spl[2]
"speakerName":"VOICEVOX:四国めたん（あまあま）"

isApiKeyValid:False
speakerName:
audioStatusUrl:
```




### 該当のソースコード

```C#
    [System.Serializable]
    public class Response
    {
        //リクエストが成功していればtrue
        public bool success;
        public bool isApiKeyValid;
        public string SpeakerName;
        public string AudioStatusUrl;
        public string WavDownloadUrl;
        public string Mp3DownloadUrl;
        public string Mp3StreamingUrl;

        public static Response Deserialize(string json)
        {
            Response res = JsonUtility.FromJson<Response>(json);
            return res;
        }
        public static string Serialize(Response res)
        {
            string json = JsonUtility.ToJson(res);
            return json;
        }
        public static string ToString(Response res)
        {
            return $"success:{res.success}\n" +
                $"isApiKeyValid:{res.isApiKeyValid}\n" +
                $"speakerName:{res.SpeakerName}\n" +
                $"audioStatusUrl:{res.AudioStatusUrl}\n" +
                $"wavDownloadUrl:{res.WavDownloadUrl}\n" +
                $"mp3DownloadUrl:{res.Mp3DownloadUrl}\n" +
                $"mp3StreaminUrl:{res.Mp3StreamingUrl}\n";
        }
    }

    static readonly string urlVoicevoxWebApi = "https://api.tts.quest/v3/voicevox/synthesis";

    public void StartSpeak(int speakerID, string message)
    {
        string url = urlVoicevoxWebApi;
        message = WWW.EscapeURL(message+"&");
        url += $"?text={message}speaker={speakerID}";
        StartCoroutine(SendRequestGETText(url));
    }

    public static IEnumerator SendRequestGETText(string url)
    {
        using (UnityWebRequest request = UnityWebRequest.Get(url))
        {
            yield return request.SendWebRequest();
            if (request.result == UnityWebRequest.Result.ConnectionError)
            {
                result = request.error;
                yield break;
            }
            else if (request.result == UnityWebRequest.Result.ProtocolError)
            {
                result = request.error;
                yield break;
            }
            else
            {
                result = request.downloadHandler.text;
                Debug.Log($"Response success result\n{result}");
                result = decodeResult(result);
                Debug.Log($"after decode result\n{result}");
                Response res = Response.Deserialize(result);
                Debug.Log(Response.ToString(res));
                yield break;
            }
        }
    }

    public static string decodeResult(string result)
    {
        //項目ごとに分割
        string[] spl = result.Split(",");
        string s=string.Empty;
        for(int i = 0; i < spl.Length; i++)
        {
            if (i > 1)
            {
                //キーとValueの分割位置を取得
                int mid = spl[i].IndexOf(":");
                // : 以降のValueの文字長を取得
                int after = spl[i].Length - mid;
                //Valueを抜き出してUTF8に変換
                string enc = UnicodeToUtf8( spl[i].Substring( mid + 2, after - 3) );
                Debug.Log("unicode to utf8\n"+enc);

                //名前(全角文字)の場合のみ
                if (i == 2)
                {
                    //Valueからエスケープ文字を除去
                    enc = System.Text.RegularExpressions.Regex.Unescape(enc);
                    Debug.Log("un escape\n" + enc);
                }

                // キーと値に分割
                string[] sp = spl[i].Split(":");
                //変換したValueとキーを再結合
                spl[i] = $"{sp[0]}:\"{enc}\"";
            }
            s += spl[i]+",";
        }
        // 末尾の ", を削除
        s = s.Substring(0, s.Length - 2);
        //Debug.Log(s);

        return s;
    }

    //Unicode -> UTF8
    public static string UnicodeToUtf8(string unicodeStr)
    {
        System.Text.Encoding uni = System.Text.Encoding.Unicode;
        byte[] uniByte = uni.GetBytes(unicodeStr);
        System.Text.Encoding utf8 = System.Text.Encoding.UTF8;
        byte[] utf8Byte = System.Text.Encoding.Convert(uni, utf8, uniByte);
        char[] utfChars = new char[utf8.GetCharCount(utf8Byte, 0, utf8Byte.Length)];
        utf8.GetChars(utf8Byte, 0, utf8Byte.Length, utfChars, 0);
        return new string(utfChars);
    }

```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
URL部分
```
,"audioStatusUrl":"https:\/\/audio1.tts.quest\/v1\/data\/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6\/status.json"

unicode to utf8
https:\/\/audio1.tts.quest\/v1\/data\/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6\/status.json

un escape
https://audio1.tts.quest/v1/data/ebf199a7038db805a9840e6a2cd5b630c6849d95fd32ff8c99d8a0940ae6dec6/status.json
```

WWW.EscapeURL()も試してみたのですが
Jsonにデシリアライズするときにエラーになってダメでした。
```
ArgumentException: JSON parse error: Missing a closing quotation mark in string.
UnityEngine.JsonUtility.FromJson
```


### 補足
特になし