回答編集履歴

まとめ

2020/08/10 02:32

投稿

thkana

スコア7703

test CHANGED Viewed

@@ -1,3 +1,43 @@
+8/10追記
+そもそもの質問は
+> 一般的な対策があれば教えていただきたいと思います。
+でしたっけ。それに答えるならば、
+**起こっている現象・事実をしっかり観察し、その結果から原因を推察し、必要に応じて実験するなど推察の正当性を確認し、その原因に対してなんらかの手を打ち、効果を確認する**
+ということになるでしょうか。
+>「一つのファイルに保存する上限容量が決まっている」ということ
+起こっている現象をちゃんと観察せず、誤った推測に飛びついて
+> 一つのファイルに一定以上の容量が溜まったら新しいファイルを作成するなどで
+適切でない対応を考えていたわけで。そういうことのないように。
+以下元の回答
+---
 出来たファイルの容量が一定...というのは結果です。

実験結果

2020/08/10 02:32

投稿

thkana

スコア7703

test CHANGED Viewed

@@ -119,3 +119,509 @@
 場合によっては、データの書き込み毎にファイルをopen/closeするのをやめた方がいいかも知れません。そうすると、測定終了時にはボタンを押すなどしてファイルをクローズしてやるという操作方法になるかも知れませんが。
 この辺は後で(明日か)ちょっと実験してみようかしら。
+---
+追記。
+M5Stackで実験してみました。多分ライブラリは一緒だと思います。
+ソースは、loop()関数を以下のように変更。
+```C++
+unsigned long cnt=0;
+const int delay_time=1;//待ち時間に耐えられないので変更
+void loop() {
+  unsigned long t0=millis();
+  Serial.print(++cnt);
+  Serial.print(" ");
+  Serial.print(__LINE__);//__LINE__はソースの行数を得るマクロ。ここは110行
+  Serial.print(" ");
+  Serial.println(millis()-t0);
+  //BME280 デバイスがないので暫定データを与えるだけ
+  //Temp = mySensorA.readTempC();
+  Temp=25.01;
+  //Hum = mySensorA.readFloatHumidity();
+  Hum=50.01;
+  //hPa = mySensorA.readFloatPressure() / 100;
+  hPa=1000.01;
+  //NTP
+  getLocalTime(&timeInfo);//tmオブジェクトのtimeInfoに現在時刻を入れ込む
+  sprintf(s, "%04d/%02d/%02d %02d:%02d:%02d",
+          timeInfo.tm_year + 1900, timeInfo.tm_mon + 1, timeInfo.tm_mday,
+          timeInfo.tm_hour, timeInfo.tm_min, timeInfo.tm_sec);//人間が読める形式に変換
+  //Serial.print
+  Serial.println(s);
+  Serial.print("Temp: ");
+  Serial.print(Temp);
+  Serial.println(" ℃");
+  Serial.print("Hum: ");
+  Serial.print(Hum);
+  Serial.println(" %");
+  Serial.print("Press: ");
+  Serial.print(hPa);
+  Serial.println(" hPa");
+  //SD_writting
+  Serial.print(cnt);
+  Serial.print(" ");
+  Serial.print(__LINE__);//ここは143行
+  Serial.print(" ");
+  Serial.println(millis()-t0);
+  //String backLog = SD_read(); //変更点
+  Serial.print(cnt);
+  Serial.print(" ");
+  Serial.print(__LINE__);//ここは149行
+  Serial.print(" ");
+  Serial.println(millis()-t0);
+  myFile = SD.open(FILE_NAME, FILE_APPEND); //変更点,元はFILE_WRITE
+  Serial.print(cnt);
+  Serial.print(" ");
+  Serial.print(__LINE__);//ここは155行
+  Serial.print(" ");
+  Serial.println(millis()-t0);
+  if (myFile) {
+    Serial.print("Writing to ");
+    Serial.println(FILE_NAME);
+    //myFile.print(backLog); //変更点
+    myFile.print(s);
+    myFile.print(",");
+    myFile.print(Temp);
+    myFile.print(",");
+    myFile.print(Hum);
+    myFile.print(",");
+    myFile.print(hPa);
+    myFile.println();
+    myFile.close();
+    Serial.println("done.");
+  } else {
+    Serial.print("error opening ");
+    Serial.println(FILE_NAME);
+  }
+  Serial.print(cnt);
+  Serial.print(" ");
+  Serial.print(__LINE__);//ここは178行
+  Serial.print(" ");
+  Serial.println(millis()-t0);
+  delay(delay_time); // Wait time
+  Serial.print(cnt);
+  Serial.print(" ");
+  Serial.print(__LINE__);//ここは184行
+  Serial.print(" ");
+  Serial.println(millis()-t0);
+  Serial.println();
+}
+```
+//変更点の3箇所を元のソースのままで実行した場合、シリアル出力は
+```Text
+(測定1回め)
+1 110 0
+2020/08/09 12:47:35
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+1 143 20
+1 149 21
+1 155 22
+Writing to /log.csv
+done.
+1 178 1025
+1 184 1026
+(10回目)
+10 110 0
+2020/08/09 12:47:36
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+10 143 0
+10 149 10
+10 155 17
+Writing to /log.csv
+done.
+10 178 29
+10 184 30
+(100回目)
+100 110 0
+2020/08/09 12:47:44
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+100 143 0
+100 149 103
+100 155 110
+Writing to /log.csv
+done.
+100 178 130
+100 184 131
+(500回目)
+500 110 0
+2020/08/09 12:51:01
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+500 143 0
+500 149 903
+500 155 911
+Writing to /log.csv
+done.
+500 178 963
+500 184 964
+(1000回目)
+1000 110 0
+2020/08/09 13:06:18
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+1000 143 0
+1000 149 2802
+1000 155 2810
+Writing to /log.csv
+done.
+1000 178 2876
+1000 184 2877
+```
+となり、読み込み/書き込みの時間がどんどん増えていっていることがわかります。特に`SD_read()`関数ですね。1000回測定した時点で、1回の測定で3秒弱かかるようになってしまいました。
+//変更点のところをコメントアウト、FILE_APPENDに変更した場合は
+```Text
+(1回目)
+1 110 0
+2020/08/09 13:21:48
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+1 143 1
+1 149 1
+1 155 1
+Writing to /log.csv
+done.
+1 178 29
+1 184 30
+(100回目)
+100 110 0
+2020/08/09 13:21:49
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+100 143 5
+100 149 6
+100 155 8
+Writing to /log.csv
+done.
+100 178 16
+100 184 17
+(1000回目)
+1000 110 0
+2020/08/09 13:22:02
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+1000 143 5
+1000 149 6
+1000 155 9
+Writing to /log.csv
+done.
+1000 178 17
+1000 184 18
+(10000回目)
+10000 110 0
+2020/08/09 13:24:21
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+10000 143 5
+10000 149 6
+10000 155 9
+Writing to /log.csv
+done.
+10000 178 15
+10000 184 16
+(20363回目)
+20363 110 0
+2020/08/09 13:27:07
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+20363 143 5
+20363 149 6
+20363 155 9
+Writing to /log.csv
+done.
+20363 178 15
+20363 184 16
+(20364回目)
+20364 110 0
+2020/08/09 13:27:08
+Temp: 25.01 ℃
+Hum: 50.01 %
+Press: 1000.01 hPa
+20364 143 5
+20364 149 6
+20364 155 9
+Writing to /log.csv
+done.
+20364 178 15
+20364 184 15
+```
+となり、実行時間には大きな変化はありません。この方法であれば、安定して測定が続けられるものと考えられます。
+このとき、SDカードに生成したCSVファイルについて
+```CSV
+(20364行目)2020/08/09 13:27:07,25.01,50.01,1000.01
+(20365行目)2020/08/09 13:27:08,25.01,50.01,1000.01
+```
+となっており、少なくともこの範囲ではファイルの書き込みが正常に行えていることを確認しました。
+なお、正常動作としても一回の測定値の処理に10～30msかかるわけで、単純にdelayを1000ms入れて「1秒」としていると、100回も測定すれば1回分データの個数がずれてくることになります。それで構わないのならそのままでもよいですが、きっちり1秒を期待するなら、せっかくntpでとっている時刻を使って、「秒」の数字が変化したら測定/記録する、という作りにした方がよろしいかと思います。

情報の追加をうけて追記

2020/08/09 05:04

投稿

thkana

スコア7703

test CHANGED Viewed

@@ -23,3 +23,99 @@
 アマチュア的には、原因を絞り込む前にとりあえずやってみてそれで動いたならOK、という解決も駄目とは言い切れないですかね。プロなら駄目ですけど。
+---
+質問に情報が追加されたので...
+ファイル書き込みと同時にシリアルにも出力しているのですね? では何故シリアルがどうなっているか見ていないのでしょう。見なかったら何のために出力したのですか?
+さて。毎秒以下の情報がファイルに追加されるわけですね。
+```C++
+    myFile.print(s);//sは日付情報19文字
+    myFile.print(",");
+    myFile.print(Temp);//5文字ぐらい
+    myFile.print(",");
+    myFile.print(Hum);//4文字ぐらい
+    myFile.print(",");
+    myFile.print(hPa);//6文字ぐらい
+    myFile.println();//CR/LFで2文字
+```
+でおおよそ39文字、ですか。
+データの追加の処理を全て自分でメモリに抱え込んでやっていますから、メモリサイズ以上のファイルは作れません。ESP32のSRAMサイズは520KB、これをフルに使えたとして520x1024/39=13653.xx秒なので、どんなに頑張っても4時間弱でロギングは不可能になり、
+> ・起動中は常にデータを保存したい
+を満たさないことが明白です。
+「データの追加の処理を全て自分でメモリに抱え込んでやって」いるのが非常識なので、ファイルはアペンド(追記)モードで開いてそのまま追加データをprintしてやればいいのでは。データの「追加」はライブラリに任せましょう。
+```C++
+  //SD_writting
+  //String backLog = SD_read(); //削除
+  myFile = SD.open(FILE_NAME, FILE_APPEND); //追記モードで開く
+  if (myFile) {
+    Serial.print("Writing to ");
+    Serial.println(FILE_NAME);
+    //myFile.print(backLog); //削除
+    myFile.print(s);
+    myFile.print(",");
+    myFile.print(Temp);
+    myFile.print(",");
+    myFile.print(Hum);
+    myFile.print(",");
+    myFile.print(hPa);
+    myFile.println();
+    myFile.close();
+    Serial.println("done.");
+  }
+```
+さて。
+そもそも14:56の時点で55サンプルしか取れていないというのも看過できない情報です。
+SD_read()が結構重い処理なので、これを削っただけでも相当軽くはなると思いますが、2kB程度のデータを処理しただけでそんなに重くなるかなぁ...
+場合によっては、データの書き込み毎にファイルをopen/closeするのをやめた方がいいかも知れません。そうすると、測定終了時にはボタンを押すなどしてファイルをクローズしてやるという操作方法になるかも知れませんが。
+この辺は後で(明日か)ちょっと実験してみようかしら。