常連

### 実現したいこと

pythonによるAPI利用（メソッドPOST）で、bodyを取得したい
この質問は、「この回答はGPT-4による自動生成回答」を踏まえ、再度、質問内容を変更したものです。
### 前提

・データベースで、ＡＰＩキーを購入し、欲しい条件の施設のＩＤ番号を取得するタスクがあります。
・ソースコード実行で、ステータスコードが200が得られました。この意味は、「データ取得できています」を示します。
・必要なbody（リクエストパラメータサンプル）は以下のイメージです。
"result":[
"37.×××,138.×××",#施設IDの緯度、経度
"38.×××,139.×××",
"40.×××,140.75221",
"42.×××,138.×××",
],


### 発生している問題・エラーメッセージ
修正コードで実行したら、JSONDecodeError: [Errno Expecting value] となりました。
```ここに言語を入力
200
---------------------------------------------------------------------------
JSONDecodeError Traceback (most recent call last)
/usr/local/lib/python3.10/dist-packages/requests/models.py in json(self, **kwargs)
909 try:
--> 910 return complexjson.loads(self.text, **kwargs)
911 except JSONDecodeError as e:

4 frames
JSONDecodeError: Expecting value: line 1 column 1 (char 0)

During handling of the above exception, another exception occurred:

JSONDecodeError Traceback (most recent call last)
/usr/local/lib/python3.10/dist-packages/requests/models.py in json(self, **kwargs)
915 raise RequestsJSONDecodeError(e.message)
916 else:
--> 917 raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)
918
919 @property

JSONDecodeError: [Errno Expecting value] <!DOCTYPE html>
```

### 該当のソースコード

```python３
import requests
import json

url = "https://ｘｘｘｘｘｘｘｘｘｘｘ/api/xx/xxxx/xxxx/report/2021/"
headers = {'api-key': '〇〇〇〇〇〇', 'Content-Type': 'application/json'}

data = {
  "querys":[
    {
     "key":"area_value",
     "value":"××（施設の該当箇所のエリア）",
     "op":"7"
    },
    {
     "key":"office_value",
      "value":"××（施設の該当箇所の管理事務所）",
      "op":"7"
    }
   ],
  "limit":100,
  "offset":0
}

res = requests.post(url, headers=headers, data=json.dumps(data))
print(res.status_code)

print(res.json())  # レスポンスボディを JSON 形式で出力
```

### 試したこと

post、requests、python等をキーワード検索したが、有効な情報が無かった。
この質問は、「この回答はGPT-4による自動生成回答」を踏まえ、再度、質問内容を変更したものです。

### 補足情報（FW/ツールのバージョンなど）

GoogleColaboratory環境で、pythonで実行


pythonによるAPI利用（メソッドPOST）で、bodyを取得するには

### 実現したいこと
スクレイピングで画像/動画作品を収集する際、各Webページにアクセスした時に、作品が表示される場合は取得し、表示されない場合は取得しないようにしたい（私の１つ前の質問とは内容が異なります）。

### 前提

閲覧頂きありがとうございます。
現在、danbooruというイラスト投稿サイトにおいて、特定のタグが付与されている作品を収集するソースコードを作っています。

下部に掲示しているソースコードの仕組みについて説明します。
まず以下のページのhtmlをrequestしたあとに作品を収集します。
https://danbooru.donmai.us/posts/6632499?q=jolteon
その後、nextクラスにある次のページのhtmlをrequestして作品を収集します。
https://danbooru.donmai.us/posts/6619855?q=jolteon
そしてまたnextクラスにある次のページのURLをrequestして作品を収集するというのを繰り返してスクレイピングを行います。

そして、danbooruの特徴として、擬人化（？）である一部の作品は、左上にある「Disable all」を押さないと表示されないようになっています。２つ目のURLの次のページは下記のURLであり、表示されない作品ページに該当いたします。
https://danbooru.donmai.us/posts/6619346?q=jolteon 

その上で私のやりたいことは、3つ目のURLにあるような、擬人化されているため表示を制限されており「Disable all」を押さないといけない作品は収集しないように設定することです。現状のソースコードでは、表示を制限されている作品であろうとなかろうと収集してしまいます。

上記のことを実現するためのお力添えをいただきたいです。よろしくお願い致します。

```

### 該当のソースコード


import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/jolteon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6632499?q=jolteon"

for page in range(end_times):
    response = requests.get(url)

    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    soup = BeautifulSoup(response.text, "html.parser")

    try:
        source = soup.find("img", id="image").get("src") 
    except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
        source = soup.find("video").get("src")
    
    img = requests.get(source)

    with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
        f.write(img.content)

    time.sleep(1)

    next = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next}"   #次のページのURLを作成
```

### 試したこと
調べてみた結果、Seleniumを使うと実現できるのではないかと思いました。ですが、その場合は動作が遅くなるデメリットがあるためできるだけ使用したくありません。

加えて、開発者ツールを除いてみると、擬人化の作品ページには下の写真のような黄色で示してある部分がありました。ですがその部分はrenposeで解析したhtmlにはなかったため、find等で認識ができないという状態です。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-09-25/bbc019da-97d7-4e3e-87e9-27591c6fa6aa.png)

### 補足情報（FW/ツールのバージョンなど）
Python==3.11.5
requests==2.31.0
beautifulsoup4==4.12.2



BeautifulSoupを用いたスクレイピングの画像収集条件の設定が上手くできない

### 実現したいこと

スクレイピングで画像/動画作品を収集する際、各Webページにアクセスした時に、作品が表示される場合は取得し、表示されない場合は取得しないようにしたい。

### 前提
閲覧頂きありがとうございます。
現在、danbooruというイラスト投稿サイトにおいて、特定のタグが付与されている作品を収集するソースコードを作っています。


下部に掲示しているソースコードの仕組みについて説明します。
まず以下のページのhtmlをrequestしたあとに作品を収集します。
https://danbooru.donmai.us/posts/6681790?q=sylveon
その後、nextクラスにある次のページのhtmlをrequestして作品を収集します。
https://danbooru.donmai.us/posts/6680502?q=sylveon
そしてまたnextクラスにある次のページのURLをrequestして作品を収集するというのを繰り返してスクレイピングを行います。

そして、danbooruの特徴として、R18である一部の作品は「Disable all」を押さないと表示されないようになっています。２つ目のURLの次のページは下記のURLであり、表示されない作品ページに該当いたします。
https://danbooru.donmai.us/posts/6655703?q=sylveon 【閲覧注意】
この作品ページは左上にある「Disable all」を押すことで作品を表示できるようになります。

その上で私のやりたいことは、3つ目のURLにあるような、表示を制限されているR18作品は収集しないように設定することです。現状のソースコードでは、表示を制限されている作品であろうとなかろうと収集してしまいます。

上記のことを実現するためのお力添えをいただきたいです。よろしくお願い致します。


### 該当のソースコード

```Python
import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/sylveon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6681790?q=sylveon"

for page in range(end_times):
    response = requests.get(url)

    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    soup = BeautifulSoup(response.text, "html.parser")

    try:
        source = soup.find("img", id="image").get("src") 
    except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
        source = soup.find("video").get("src")
    
    img = requests.get(source)

    with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
        f.write(img.content)

    time.sleep(1)

    next = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next}"   #次のページのURLを作成

```

### 試したこと

調べてみた結果、Seleniumを使うと実現できるのではないかと思いました。ですが、その場合は動作が遅くなるデメリットがあるためできるだけ使用したくありません。
JavaScriptの動作が関係しているのではと思いましたが、JavaScriptの知識が全くなく、開発者ツールで見てみてもソースコードがあまりにも多い＆複雑すぎて見当がつきません。


### 補足情報
Python==3.11.5
requests==2.31.0
beautifulsoup4==4.12.2



BeautifulSoupを用いたスクレイピングにおける条件の設定について

### 実現したいこと

- [ ] HttpURLConnectionオブジェクトを使用してhttpリクエストを発行し、APIを実行したい

### 前提
組織内のみで利用しているwebシステムからhttpリクエストを発行し、
インターネット上の配置されているAPIを実行する機能を作成しています。
httpリクエストを発行する処理で、レスポンスコード:411(Length Required)が発生しています。

### 発生している問題・エラーメッセージ

```
レスポンスを確認しているコード
int statusCode = con.getResponseCode();
if (statusCode == con.HTTP_OK) {
	system.out.println("success");
	system.out.println("STATUS:" + statusCode);
	system.out.println("MSG:" + con.getResponseMessage());
} else {
	system.out.println("fault");
	system.out.println("STATUS:" + statusCode);
	system.out.println("MSG:" + con.getResponseMessage());
}
コンソール表示
fault
STATUS:411
MSG:Length Required
```

### 該当のソースコード

```Java8
ソースコード
		try {
			// URL作成
			URL url = new URL("https://hogehoge/post?SYSTEM_ID=" + systemID);
			// 接続用HttpURLConnectionオブジェクト作成
			HttpURLConnection con = (HttpURLConnection)url.openConnection();
			// リクエストメソッドの設定
			con.setRequestMethod("POST");
			// リクエストのボディ送信を許可
			con.setDoOutput(true);
			// リクエストのボディ受信を許可
			con.setDoInput(true);
			// ヘッダーの設定
			con.setRequestProperty("APIKEY", "APIの認証キー");
			con.setRequestProperty("Content-Type", "application/json;charset=utf-8");

			// 接続
			con.connect();

           //レスポンス確認
			int statusCode = con.getResponseCode();
			if (statusCode == con.HTTP_OK) {
				system.out.println("success");
				system.out.println("STATUS:" + statusCode);
				system.out.println("MSG:" + con.getResponseMessage());
			} else {
				system.out.println("fault");
				system.out.println("STATUS:" + statusCode);
				system.out.println("MSG:" + con.getResponseMessage());
			}

			con.disconnect();

		} catch (IOException e) {
			system.out.println("NG");
			// TODO 自動生成された catch ブロック
			e.printStackTrace();
		}
```

### 試したこと

レスポンスコード:４１１は、[Content-Length]の不備が原因とのことだったため、
以下のコード追加して動作検証しました。
結果としてはレスポンス確認している[int statusCode = con.getResponseCode();]の箇所で
エラーが発生するようになり、レスポンス確認すらできない状態になりました。
また、con.getContentLength()のコマンドで設定内容を確認すると常に"-1"が返却され、
con.getRequestProperty("content-length")で設定内容を確認すると設定した値が返却されます。

以下のコードを[con.connect();]の前に追加。
```
System.setProperty("sun.net.http.allowRestrictedHeaders", "true");

// content-lengthの設定
byte[] data = ("https://hogehoge/post?SYSTEM_ID=" + systemID).getBytes("UTF-8");
con.setRequestProperty("content-length",  String.valueOf(data.length));
```

※HttpURLConnectionでは、[content-length]を設定しても↑の1行目の設定をしないと暗黙的に削除してしまうとの情報があったため追加

### 補足情報（FW/ツールのバージョンなど）

・APサーバ：Linux
　（httpリクエストが通るように対象URLのIPアドレスは許可している）
・フレームワーク：Terasoluna
・使用オブジェクト：HttpURLConnection
(Java8環境で使用できるオブジェクトがこれしか見つからなかったため）

本処理実装に取り掛かってから、3日間調査していますが、解決策が見つかりません。
どうかご協力のほどよろしくお願いします。


httpリクエスト発行時の411エラーの解消

現在とあるセンサとの通信システムの開発を行っています

そのセンサ会社からは、POSTメソッドでデータを送信する仕様と聞いていたのですが、実際に通信テストを行ったところ、BODY部分（form）にはデータが含まれておらず、GETメソッドでのリクエストのようにURLの後ろへデータが付加されていました。（例えばhttp://192.168.1.1?aaa=bbbのようなイメージです）

その為、先方に対し、BODY部へデータを格納し、URLの後ろへはデータを付加しないよう修正を依頼したいと考えていましたが、通常のPOST通信の方法とは異なると思いますが、「POST通信でデータを送る」という内容に間違いはありませんでしたので、修正を依頼してよいものか悩んでいます

このようにPOST通信であるのにURLの後ろにデータを付加して通信するのはHTTPの通信規約などには違反していないのでしょうか？それとも正常な通信方法でしょうか？
ご教示ください

POST通信なのにURLの後にパラメータを付与するのはアリ？

### 目的
C#でHTTP通信を行い、その結果を取得したいと思っています。
（最終的にはWeb APIを叩くことが目的です）
資料となるサイトを参考にコードを書いてみたのですが応答が返らず、対処方法が分からないので教えていただきたいです。

### 実装
まっさらなC#/Formsアプリに、ボタンを一つだけ用意します。
ボタンを押すとWebアクセスを試みるだけのプログラムです。

[フォーム側(ボタンを押すとアクセス)]
```C#
    public partial class MainWindow : Form
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        private void btnRequest_Click(object sender, EventArgs e)
        {
            Uri uri = new Uri("http://www.google.com");
            // ここでwebアクセスを行う
            Task<string> webTask = WebConn.GetApiAsync(uri);
            string result = webTask.Result;
            Console.WriteLine(result);
        }
    }
```

[アクセス処理(WebConn)]
```C#
    public class WebConn
    {
        public static async Task<string> GetApiAsync(Uri uri)
        {
            using (HttpClient client = new HttpClient())
            {
                // ヘッダ情報設定
                client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko");
                client.DefaultRequestHeaders.Add("Accept-Language", "ja-JP");
                client.Timeout = TimeSpan.FromSeconds(5.0);

                try
                {
                    // 実際のアクセス処理はここだけ
                    string res = await client.GetStringAsync(uri);
                    // ここに辿りつけない
                    return res;
                } catch(HttpRequestException e)
                {
                    // 例外処理（省略）
                }
                return null;
            }
        }
    }
```

### 発生している問題
上記のコードを実行しフォームに用意したボタンを押したところ、ウィンドウが操作を受け付けない状態になります。
具体的には、上記コード（アクセス処理）の
`string res = await client.GetStringAsync(uri);` を実行した後、次の `return res;`に辿り着きません。
また、実行時に例外が発生することもありません。

### 参考資料
@ITの記事
http://www.atmarkit.co.jp/ait/articles/1501/06/news086.html
に掲載されているコードを、ほぼ流用しています。

### その他
C#を用いて通信を行うのは初めてです。
もしHttpClient使うより良い方法があれば教えてください。
（ところでteratailでは、C#のコードはシンタックスハイライトされないのでしょうか…？）

C#でHTTP通信を行う方法（HttpClientを用いる場合）

###概要
PHPなどでのサーバー開発をすることは得意ですが、
Webネットワークの知識が少し薄く、
サーバー通信時の通信量が実際数値としてどれほどのものかわかりません。
GoogleChromeのコンソールを見るも、いまいちピンとこず・・・といった感じです。

###知りたいこと

たとえばですが

http://example.com/ あるいは https://example.com/
にPOSTパラメーターとしてx=100が付与されているものとする。
その場合、以下ソースコード
```php
<?php
echo $_REQUEST["x"];
exit;
```
が実行され、
```
100
```
が出力されるものとする。
その場合、httpとhttps、それぞれどの程度の通信量が発生するのでしょうか？
※大雑把で大丈夫です、理屈がわかればだいたいの予測はつきます。
恐らく、リクエストおよびレスポンスそれぞれで発生するのだと思っています。
なんとなくでは把握していますが、かなり曖昧な知識なので詳細を知りたいと思っています。

お手数をおかけいたしますが、よろしくお願いいたします。

http、httpsでのサーバー通信時の通信量について

### 実現したいこと

JJWDからjsonデータを取得し、Pythonで操作可能なデータ形式(辞書型)に変換したい

### 前提

[JJWD](https://jjwd.info/index.html)：JSONized Japanese Weather Data
"気象庁から CSV 形式で公開されているアメダス観測地点の最新気象データを JSON 形式に変換して提供するAPIサービスです。
機械判読性が高く、日本語に依存せず、なおかつ登録不要で利用できます。"(Webサイトより引用)

### 環境

Windows10
venv(Python 3.11.0)

### 発生している問題・エラーメッセージ
ソースコード(後述)８行目の
data = json.loads(response.text)
でJSONDecodeErrorが発生する
```
<Response [503]>
Traceback (most recent call last):
  File "(パス名につき省略)\jjwd_api_lesson3.py", line 8, in <module>
    data = json.loads(response.text)
           ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\(ユーザー名)\AppData\Local\Programs\Python\Python311\Lib\json\__init__.py", line 346, in loads
    return _default_decoder.decode(s)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\(ユーザー名)\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\(ユーザー名)\AppData\Local\Programs\Python\Python311\Lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
```

### 該当のソースコード
URLのパラメータは、JJWDの[APIドキュメント](https://jjwd.info/doc-ja.html)のページ末尾に書いてある例(東京都世田谷区)と同じものを使用しています。

```Python
import requests, json, pprint

url = "https://jjwd.info/api/v2/stations/search?pref_ja=東京&address=世田谷"

response = requests.get(url)

print(response)
data = json.loads(response.text)

pprint.pprint(data)
print(type(data))
```

### 試したこと

JJWDのAPI側に問題が無いことを確認するために、Google Chromeで
https://jjwd.info/api/v2/stations/search?pref_ja=東京&address=世田谷
にアクセスしてデータのダウンロードが行われるか試しました。すると、次の画像のようなメッセージが表示されました。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-07-30/0150f8ab-d90c-40a6-8cf6-df664cb863c0.png)

私はAPIについての知識がほとんどないので間違っているかもしれませんが、これはAPI側に問題があるのでは？と思いました。


HttpWebRequest