PostgreSQLに9個目以降データが挿入されなくなる

Question

前提・実現したいこと

ラズベリーパイからHTTP通信でダミーデータを送信しPostgreSQLに値を挿入したいと考えています。
現在の状況は9個目までデータベースに格納しているのですが、9個目以降なんのエラーもなく急にデータがデーベースに格納されなくなります。

わかっていることは
client.release()の部分が原因ということはわかっているのですが、clientをどうすれば再帰的にずっとデータベースに格納できるかわかりません。
そしてなぜ9個目で止まるのでしょうか。
エラーログがないので解決できず困っています。
２時間ほど試行錯誤しましたが、解決に至らず、教えていただければ光栄です。

コマンドの出力

Client Request > {"time": "2021-12-20 23:27:52.581135", "sensor": 1,"smell": 10}
接続完了
Result {
  command: 'INSERT',
  rowCount: 1,
  oid: 0,
  rows: [],
  fields: [],
  _parsers: undefined,
  _types:
   TypeOverrides {
     _types:
      { getTypeParser: [Function: getTypeParser],
        setTypeParser: [Function: setTypeParser],
        arrayParser: [Object],
        builtins: [Object] },
     text: {},
     binary: {} },
  RowCtor: null,
  rowAsArray: false }


上記の出力が9個終わった後↓


POST "Python-urllib/3.9"
Client Request > {"time": "2021-12-20 23:27:57.612159", "sensor": 1,"smell": 10}
接続完了
POST "Python-urllib/3.9"
Client Request > {"time": "2021-12-20 23:28:02.756899", "sensor": 1, "smell": 10}
POST "Python-urllib/3.9"
Client Request > {"time": "2021-12-20 23:28:07.786376", "sensor": 1,"smell": 10}
POST "Python-urllib/3.9"
Client Request > {"time": "2021-12-20 23:28:12.810994", "sensor": 1,"smell": 10}
^C

該当のソースコード

require('pg').defaults.ssl = true;
const { Pool } = require('pg')
process.env.NODE_TLS_REJECT_UNAUTHORIZED = "0";

const pool = new Pool({
    user: '',
    host: '',
    database: '',
    password: '',
    port: 5432,
    
})



// 通信に必要なライブラリを読み込み
var http = require('http');

// HTTPサーバの実行
var server = http.createServer();

//SQL接続
async function postgresql_connect(senserid,smell){
	const sqltime="SET TIME ZONE 'Asia/Tokyo'"
	const sql = "INSERT INTO sensor (time,place,conges) VALUES (current_timestamp, $1, $2)"
	const values = [senserid, smell]
	const client = await pool.connect()
	try {
	pool
		.connect()
		.then(() => console.log("接続完了"))
		.then(() => pool.query(sqltime))
		.then(() => pool.query(sql, values))
		.then(result => console.log(result))
		.catch((err => console.log(err)))
		

	}  finally {
			client.release()
		}
}


// サーバにHTTPリクエストが届いたときのコールバック関数
server.on('request', function(req,res){
	// ラズパイからのアクセスがPOSTであった場合
	if(req.method == 'POST'){
		// ラズパイへ返信するデータのヘッダを作成
		res.writeHead(200, {'Content-Type' : req.headers['content-type']});
    	
    	// ラズパイからデータを受信したときの処理 (コールバック関数)
    	req.on('data', function(data){

			
			json_data = JSON.parse(data);
			var smell = json_data.smell;

			postgresql_connect(senserid,smell);

		
			
    		// ラズパイから受信したデータ(文字列)を、文字列に変換(受信ログ用)
    		var text = data.toString('utf8');
     		// データの入力履歴をラズパイに返信
     		res.write('Successfully Received >   ' + text);



    		// 受信ログを表示
    		console.log(req.method + ' "' + req.headers['user-agent'] + '"');
     		console.log('Client Request > ' + data);

			 	
    	});

		// ラズパイから全てのデータを受信したときの処理（コールバック関数）
		req.on('end', function(){
			// ラズパイへのデータの返信を終了
			res.end();
		});
		
	}
	// ラズパイからのアクセスがPOST以外の場合
	else {
		res.writeHead(200, {'Content-Type': 'text/plain'});
		res.write('Hello World\n');
		res.end();
	}
});

// ラズパイからの接続を待ち受けるポート番号の設定
server.listen(8080);

------------追記----------------
コネクションプールはデフォルトで最大10回ほどしか接続できず、再接続が必要とのことまでは理解しました。
しかし、

finally {
            client.release()
        }

でなぜ再接続できないのでしょうか。
ずっと調べ続けても9個以上挿入できず、非常に困っています。
https://teratail.com/questions/253479
こちらで同じような質問をされていましたが、done（）;では実装できませんでした。

Comments

[FKM]

テーブルの設定に問題がありそうです。何を主キーにしていますか？

[AGLAAGLA]

コメントありがとうございます。
まったく一向に進まず悩んでおりました。
私のテーブルの場合、IDをプライマリキー
として設定しております。

[FKM]

では、そのIDの型と桁数をどう設定していますか？

[AGLAAGLA]

id serial PRIMARY KEYで定義しております。
私の認識では、
const sql = "INSERT INTO sensor (time,place,conges) VALUES (current_timestamp, $1, $2)"
const values = [senserid, smell]
として挿入しております。

自動でIDを割り振ってくれると思い、INSERT文では表記しなくていいと思っております。
ここがダメな点なのでしょうか。

[FKM]

seialってことはcreate sequence文で型と桁設定しているはずですが、そのsql文を提示してもらっていいですか？

[AGLAAGLA]

CREATE TABLEの
CREATE TABLE sensor
(id serial PRIMARY KEY,
time timestamp,
place INTEGER not null,
conges Real not null);

以降、型と桁設定をした覚えはないのですが、、
それが問題点なのでしょうか。

[FKM]

主キーの設定に制約がかかってないかの検証です。明示的にidを99としてデータを入力できるか確かめてみてください。

[AGLAAGLA]

IDは105ほどまでデータを挿入できていたので、恐らく大丈夫だと思います。
毎回、ラズパイから送るたびにテーブルの中身をリセットして行っているのですが、
リセットするたびに値が加わっていくのが少し心配な点です。
(例:　1回目９個目までしか挿入できてない→テーブルの行削除 →二回目 の９個の値を挿入するとIDが９から18になる。次行削除して挿入するとIDが18~27になる→これを繰り返して行って105ほどまで行きました)

[FKM]

なるほど、だとするとネットワークの方の問題っぽいですね。
postgreSQLは一度アボートするとコミットしないと再度クエリ発行できないですが、それは
関係しているでしょうか。

自分が思い当たるのはこれぐらいになりそうです。力になれなくて済みません。

[AGLAAGLA]

client.release()の部分を変更すると、挿入回数が４回になったり変動するのでここが問題なのかと思います。
お手数おかけしました。
こちらこそご丁寧にありがとうございました。

Answer 1

    const client = await pool.connect()
    try {
    pool
        .connect()

見当違いかもしれませんが、2回connect()しているのが気になりました。
clientかpoolどちらかだけにしてみたらどうでしょうか？

Comments

[miyabi-sun]

まぁこれでしょうね
回答を引き継ぎます

[AGLAAGLA]

ご指摘ありがとうございます。
おっしゃる通り、二回する必要のないconnectをしておりました。
ありがとうございます。

Answer 2

• コネクションプールである
• 持ってこれるコネクションは最大10個

この情報からの推測ですが、

    const client = await pool.connect()

    ...

    finally {
        client.release()
    }
}

この流れでコネクションを作って、リリースして潰してますね。

    pool
        .connect()
        .then(() => console.log("接続完了"))

これ is 何？
もう一本コネクション張っちゃってるじゃん。
しかもリリースしてない。

---

というわけで、本質問の問題点はPromiseとasync/awaitの扱い方をマスターしきれていない事にあります。
Promise決め打ちの.thenメソッドや.catchメソッドはこう書き直しましょう。

async function postgresql_connect(senserid,smell){
    const sqltime="SET TIME ZONE 'Asia/Tokyo'"
    const sql = "INSERT INTO sensor (time,place,conges) VALUES (current_timestamp, $1, $2)"
    const values = [senserid, smell]
    // そもそものpool.connectが不要
    try {
        // 直でpool.queryを実行すれば良い
        await pool.query(sqltime)
        const result = await pool.query(sql, values)
        console.log(result)
    } catch (e) {
        console.error(e)
    }
    // そしたらclient.releaseも不要
}

これで一度様子を見てください。

Comments

[AGLAAGLA]

ご丁寧にありがとうございます。
おっしゃる通り、async/awaitの扱い方を勉強すべきと感じました。
こちらの実装で９行以上のデータ挿入を確認することができました。
本当に助かりました。ありがとうございます。

[miyabi-sun]

・await構文はthenメソッドを叩いて第一引数を取り出す必殺技
・async関数を定義すると、常にPromiseのインスタンスを返すようになり、await構文が有効になる

とりあえずこの理解で大丈夫です。
コードからPromise臭をけしていきましょう。頑張って！