SDカードへの保存において、一定以上のデータが保存されない

Question

目的：ESP32を使ってセンサー値をSDカードに保存したい
問題：データの取得およびSDカードへ保存はできるが、SDカードに一定以上のデータが保存されなくなってしまう(例：5時間起動しても、2時間分のデータしか保存されない等)

上記の問題は「一つのファイルに保存する上限容量が決まっている」ということなのでしょうか？
一つのファイルに一定以上の容量が溜まったら新しいファイルを作成するなどで対応できるでしょうか？
一般的な対策があれば教えていただきたいと思います。

---

8月8日追記
多くの方からご意見を頂きましてありがとうございます。
情報不足との指摘をいただき、追記をさせていただきます。
また前回質問した問題点を「問題1」とし、「問題2」を新たに追加しました。
文末にプログラムを記載します。

使用部材
・ESP32-DevKitC　http://akizukidenshi.com/catalog/g/gM-11819/
・BME280　http://akizukidenshi.com/catalog/g/gK-09421/
・MicroSDcard Adapter https://www.amazon.co.jp/HiLetgo-3%E5%80%8B%E3%82%BB%E3%83%83%E3%83%88-TF%E3%82%AB%E3%83%BC%E3%83%89%E3%83%A1%E3%83%A2%E3%83%AA%E3%82%B7%E3%83%BC%E3%83%AB%E3%83%89%E3%83%A2%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB-Arduino%E3%81%AB%E5%AF%BE%E5%BF%9C-SPI%E3%83%9E%E3%82%A4%E3%82%AF%E3%83%ADSD%E3%82%A2%E3%83%80%E3%83%97%E3%82%BF/dp/B010GXAFFU
・MicroSDcard 4GB https://www.amazon.co.jp/ADATA-microSDHC%E3%82%AB%E3%83%BC%E3%83%89-4GB-Class4-AUSDH4GCL4-RA1/dp/B002XVX6LY

目的
1秒ごとにBME280で温度湿度気圧を取得し、NTPで取得した時刻と取得データをSDカードへCSVファイルとして保存したい。

問題1
2時間起動したが、1時間半分のデータしか保存されていない(14:55から17:00まで起動したが、14:55から16:32までしか保存されていない。また最後のみ17:00のレコードが保存されている)。なおCSVファイルは65kBであった。

問題2
1秒間隔でデータを取得しているので理屈の上では1分間に60レコードであるはず（プログラム起動のため実際にはその限りではないはずであるが）。
しかし14:56は55レコードであるが、16:31では8レコードであった。

期待する解決
・起動中は常にデータを保存したい
・時間経過によるレコード数の低下を防ぎたい

以上です。
可能な限り情報を追加したつもりですが、不足があった場合ご教示頂けますと幸いです。
よろしくお願いします。

以下プログラム

#include "secrets.h"
#include <WiFi.h>
#include <Wire.h>
#include "SparkFunBME280.h"
#include <SD.h>
#include <SPI.h>

#define FILE_NAME "/log.csv"

//SPI_setting
#define SCK 5
#define MISO 16
#define MOSI 17
#define SS 18

//データ取得間隔
int delay_time = 1000 * 1; //1秒間隔

//SD_setting
const uint8_t SD_CS = SS; // GPIO5=CS
static File myFile;

//WIFI_setting
char ssid[] = SECRET_SSID;   // your network SSID (name)
char pass[] = SECRET_PASS;   // your network password
int keyIndex = 0;            // your network key Index number (needed only for WEP)
WiFiClient  client;

// BME280_setting
BME280 mySensorA; //Uses default I2C address 0x77
BME280 mySensorB; //Uses I2C address 0x76 (jumper closed)
float Temp;
float Hum;
float hPa;

//SD
void SD_init() {
  Serial.print("Initializing SD card...");
  if (!SD.begin(SD_CS)) {
    Serial.println("initialization failed!");
    return;
  }
  Serial.println("initialization done.");
}

//SD_read
String SD_read() {
  String str;
  File file = SD.open(FILE_NAME, FILE_READ);
  if (file) {
    //---1byteずつ読み込んだ文字を結合
    while (file.available()) {
      str += char(file.read());
    }
  } else {
    Serial.println(" error...");
  }
  //---ファイルを閉じる
  file.close();
  return str;
}

void setup() {
  delay(1000);
  SPI.begin(SCK, MISO, MOSI, SS);
  Serial.begin(115200);  //Initialize serial

  //NTP_setup
  if (WiFi.begin(SECRET_SSID, SECRET_PASS) != WL_DISCONNECTED) {
    ESP.restart();
  }
  while (WiFi.status() != WL_CONNECTED) {
    delay(1000);
    Serial.println("wifi_disconnected...");
  }
  configTime(9 * 3600L, 0, "ntp.nict.jp", "time.google.com", "ntp.jst.mfeed.ad.jp");

  //wifi_setup
  Wire.begin();
  WiFi.mode(WIFI_STA);

  while (!Serial);
  Serial.println();

  //SD_setup
  SD_init();
  Serial.println(SD_read());

  //BME280_setup
  mySensorA.setI2CAddress(0x76); //The default for the SparkFun Environmental Combo board is 0x77 (jumper open).
  if (mySensorA.beginI2C() == false) Serial.println("Sensor A connect failed");
  mySensorB.setI2CAddress(0x76); //Connect to a second sensor
  if (mySensorB.beginI2C() == false) Serial.println("Sensor B connect failed");
}

struct tm timeInfo;//時刻を格納するオブジェクト
char s[20];//文字格納用

void loop() {
  //BME280
  Temp = mySensorA.readTempC();
  Hum = mySensorA.readFloatHumidity();
  hPa = mySensorA.readFloatPressure() / 100;

  //NTP
  getLocalTime(&timeInfo);//tmオブジェクトのtimeInfoに現在時刻を入れ込む
  sprintf(s, "%04d/%02d/%02d %02d:%02d:%02d",
          timeInfo.tm_year + 1900, timeInfo.tm_mon + 1, timeInfo.tm_mday,
          timeInfo.tm_hour, timeInfo.tm_min, timeInfo.tm_sec);//人間が読める形式に変換

  //Serial.print
  Serial.println(s);
  Serial.print("Temp: ");
  Serial.print(Temp);
  Serial.println(" ℃");
  Serial.print("Hum: ");
  Serial.print(Hum);
  Serial.println(" %");
  Serial.print("Press: ");
  Serial.print(hPa);
  Serial.println(" hPa");

  //SD_writting
  String backLog = SD_read();
  myFile = SD.open(FILE_NAME, FILE_WRITE);
  if (myFile) {
    Serial.print("Writing to ");
    Serial.println(FILE_NAME);
    myFile.print(backLog);
    myFile.print(s);
    myFile.print(",");
    myFile.print(Temp);
    myFile.print(",");
    myFile.print(Hum);
    myFile.print(",");
    myFile.print(hPa);
    myFile.println();
    myFile.close();
    Serial.println("done.");
  } else {
    Serial.print("error opening ");
    Serial.println(FILE_NAME);
  }
  delay(delay_time); // Wait time
}

Comments

[y_waiwai]

どれだけの容量で頭打ちになるんでしょうか。
また、コードを提示しましょう

＃具体的な情報がまったくない。。

[thkana]

> 一定以上のデータが保存されなくなってしまう
「なってしまう」という表現は、そうではない状態もある、ということをも意味します。そうなのでしょうか。
「一定以上」と断言していますが、その後の文章で「ということなのでしょうか」と問うています。つまり一定以上なのかどうかはまだわからない、ということですね?

> (例：5時間起動しても、2時間分のデータしか保存されない等)
まだ何の推測も出来ていないこの段階では、情報は「等」で削ってしまわないで、できるだけ生の状態で数多く提示してください。

[coco_bauer]

プログラムのコードを示さずに、プログラムの動作の質問をするのは、料理を食べる前に「美味しかったですか？」と質問するようなものです。
適切な答えが期待できないのは、明らかですよね？

[rokurou]

情報不足のご指摘ありがとうございます。
プログラムと現状の問題をなるべく詳細に記載したつもりです。

ご意見を頂けたら助かります。

Answer 1

8/10追記
そもそもの質問は

一般的な対策があれば教えていただきたいと思います。

でしたっけ。それに答えるならば、
起こっている現象・事実をしっかり観察し、その結果から原因を推察し、必要に応じて実験するなど推察の正当性を確認し、その原因に対してなんらかの手を打ち、効果を確認する
ということになるでしょうか。

「一つのファイルに保存する上限容量が決まっている」ということ

起こっている現象をちゃんと観察せず、誤った推測に飛びついて

一つのファイルに一定以上の容量が溜まったら新しいファイルを作成するなどで

適切でない対応を考えていたわけで。そういうことのないように。

以下元の回答

---

出来たファイルの容量が一定...というのは結果です。

その結果に至る原因の推測としては例えば以下が考えられるでしょう
・ファイルシステムやファイルライブラリで1ファイルのサイズが制限されている
・時間計算などのミスでプログラムの連続動作時間がある時間を超えるとで動作不良を起こす
・メモリリークなどでプログラムの内部の繰り返しがある回数を超えると動作不良を起こす
・その他(現時点ではまだなんともいえない)

もちろん、それぞれに適切な対策は異なりますし、これらのどれであるかを絞り込むだけの情報は質問では提示されておらず、従って現時点では対策は立てられません。

一つのファイルに一定以上の容量が溜まったら新しいファイルを作成するなどで対応できるでしょうか？

アマチュア的には、原因を絞り込む前にとりあえずやってみてそれで動いたならOK、という解決も駄目とは言い切れないですかね。プロなら駄目ですけど。

---

質問に情報が追加されたので...

ファイル書き込みと同時にシリアルにも出力しているのですね? では何故シリアルがどうなっているか見ていないのでしょう。見なかったら何のために出力したのですか?

さて。毎秒以下の情報がファイルに追加されるわけですね。

    myFile.print(s);//sは日付情報19文字
    myFile.print(",");
    myFile.print(Temp);//5文字ぐらい
    myFile.print(",");
    myFile.print(Hum);//4文字ぐらい
    myFile.print(",");
    myFile.print(hPa);//6文字ぐらい
    myFile.println();//CR/LFで2文字

でおおよそ39文字、ですか。
データの追加の処理を全て自分でメモリに抱え込んでやっていますから、メモリサイズ以上のファイルは作れません。ESP32のSRAMサイズは520KB、これをフルに使えたとして520x1024/39=13653.xx秒なので、どんなに頑張っても4時間弱でロギングは不可能になり、

・起動中は常にデータを保存したい

を満たさないことが明白です。
「データの追加の処理を全て自分でメモリに抱え込んでやって」いるのが非常識なので、ファイルはアペンド(追記)モードで開いてそのまま追加データをprintしてやればいいのでは。データの「追加」はライブラリに任せましょう。

  //SD_writting
  //String backLog = SD_read(); //削除
  myFile = SD.open(FILE_NAME, FILE_APPEND); //追記モードで開く
  if (myFile) {
    Serial.print("Writing to ");
    Serial.println(FILE_NAME);
    //myFile.print(backLog); //削除
    myFile.print(s);
    myFile.print(",");
    myFile.print(Temp);
    myFile.print(",");
    myFile.print(Hum);
    myFile.print(",");
    myFile.print(hPa);
    myFile.println();
    myFile.close();
    Serial.println("done.");
  }

さて。
そもそも14:56の時点で55サンプルしか取れていないというのも看過できない情報です。
SD_read()が結構重い処理なので、これを削っただけでも相当軽くはなると思いますが、2kB程度のデータを処理しただけでそんなに重くなるかなぁ...
場合によっては、データの書き込み毎にファイルをopen/closeするのをやめた方がいいかも知れません。そうすると、測定終了時にはボタンを押すなどしてファイルをクローズしてやるという操作方法になるかも知れませんが。
この辺は後で(明日か)ちょっと実験してみようかしら。

---

追記。
M5Stackで実験してみました。多分ライブラリは一緒だと思います。
ソースは、loop()関数を以下のように変更。

unsigned long cnt=0;
const int delay_time=1;//待ち時間に耐えられないので変更
void loop() {
  unsigned long t0=millis();
  Serial.print(++cnt);
  Serial.print(" ");
  Serial.print(__LINE__);//__LINE__はソースの行数を得るマクロ。ここは110行
  Serial.print(" ");
  Serial.println(millis()-t0);

  //BME280 デバイスがないので暫定データを与えるだけ
  //Temp = mySensorA.readTempC();
  Temp=25.01;
  //Hum = mySensorA.readFloatHumidity();
  Hum=50.01;
  //hPa = mySensorA.readFloatPressure() / 100;
  hPa=1000.01;

  //NTP
  getLocalTime(&timeInfo);//tmオブジェクトのtimeInfoに現在時刻を入れ込む
  sprintf(s, "%04d/%02d/%02d %02d:%02d:%02d",
          timeInfo.tm_year + 1900, timeInfo.tm_mon + 1, timeInfo.tm_mday,
          timeInfo.tm_hour, timeInfo.tm_min, timeInfo.tm_sec);//人間が読める形式に変換

  //Serial.print
  Serial.println(s);
  Serial.print("Temp: ");
  Serial.print(Temp);
  Serial.println(" ℃");
  Serial.print("Hum: ");
  Serial.print(Hum);
  Serial.println(" %");
  Serial.print("Press: ");
  Serial.print(hPa);
  Serial.println(" hPa");

  //SD_writting
  Serial.print(cnt);
  Serial.print(" ");
  Serial.print(__LINE__);//ここは143行
  Serial.print(" ");
  Serial.println(millis()-t0);
  //String backLog = SD_read(); //変更点
  Serial.print(cnt);
  Serial.print(" ");
  Serial.print(__LINE__);//ここは149行
  Serial.print(" ");
  Serial.println(millis()-t0);
  myFile = SD.open(FILE_NAME, FILE_APPEND); //変更点,元はFILE_WRITE
  Serial.print(cnt);
  Serial.print(" ");
  Serial.print(__LINE__);//ここは155行
  Serial.print(" ");
  Serial.println(millis()-t0);
  if (myFile) {
    Serial.print("Writing to ");
    Serial.println(FILE_NAME);
    //myFile.print(backLog); //変更点
    myFile.print(s);
    myFile.print(",");
    myFile.print(Temp);
    myFile.print(",");
    myFile.print(Hum);
    myFile.print(",");
    myFile.print(hPa);
    myFile.println();
    myFile.close();
    Serial.println("done.");
  } else {
    Serial.print("error opening ");
    Serial.println(FILE_NAME);
  }
  Serial.print(cnt);
  Serial.print(" ");
  Serial.print(__LINE__);//ここは178行
  Serial.print(" ");
  Serial.println(millis()-t0);
  delay(delay_time); // Wait time
  Serial.print(cnt);
  Serial.print(" ");
  Serial.print(__LINE__);//ここは184行
  Serial.print(" ");
  Serial.println(millis()-t0);
  Serial.println();
}

//変更点の3箇所を元のソースのままで実行した場合、シリアル出力は

(測定1回め)
1 110 0
2020/08/09 12:47:35
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
1 143 20
1 149 21
1 155 22
Writing to /log.csv
done.
1 178 1025
1 184 1026
(10回目)
10 110 0
2020/08/09 12:47:36
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
10 143 0
10 149 10
10 155 17
Writing to /log.csv
done.
10 178 29
10 184 30
(100回目)
100 110 0
2020/08/09 12:47:44
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
100 143 0
100 149 103
100 155 110
Writing to /log.csv
done.
100 178 130
100 184 131
(500回目)
500 110 0
2020/08/09 12:51:01
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
500 143 0
500 149 903
500 155 911
Writing to /log.csv
done.
500 178 963
500 184 964
(1000回目)
1000 110 0
2020/08/09 13:06:18
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
1000 143 0
1000 149 2802
1000 155 2810
Writing to /log.csv
done.
1000 178 2876
1000 184 2877

となり、読み込み/書き込みの時間がどんどん増えていっていることがわかります。特にSD_read()関数ですね。1000回測定した時点で、1回の測定で3秒弱かかるようになってしまいました。

//変更点のところをコメントアウト、FILE_APPENDに変更した場合は

(1回目)
1 110 0
2020/08/09 13:21:48
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
1 143 1
1 149 1
1 155 1
Writing to /log.csv
done.
1 178 29
1 184 30
(100回目)
100 110 0
2020/08/09 13:21:49
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
100 143 5
100 149 6
100 155 8
Writing to /log.csv
done.
100 178 16
100 184 17
(1000回目)
1000 110 0
2020/08/09 13:22:02
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
1000 143 5
1000 149 6
1000 155 9
Writing to /log.csv
done.
1000 178 17
1000 184 18
(10000回目)
10000 110 0
2020/08/09 13:24:21
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
10000 143 5
10000 149 6
10000 155 9
Writing to /log.csv
done.
10000 178 15
10000 184 16
(20363回目)
20363 110 0
2020/08/09 13:27:07
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
20363 143 5
20363 149 6
20363 155 9
Writing to /log.csv
done.
20363 178 15
20363 184 16
(20364回目)
20364 110 0
2020/08/09 13:27:08
Temp: 25.01 ℃
Hum: 50.01 %
Press: 1000.01 hPa
20364 143 5
20364 149 6
20364 155 9
Writing to /log.csv
done.
20364 178 15
20364 184 15

となり、実行時間には大きな変化はありません。この方法であれば、安定して測定が続けられるものと考えられます。

このとき、SDカードに生成したCSVファイルについて

(20364行目)2020/08/09 13:27:07,25.01,50.01,1000.01
(20365行目)2020/08/09 13:27:08,25.01,50.01,1000.01

となっており、少なくともこの範囲ではファイルの書き込みが正常に行えていることを確認しました。

なお、正常動作としても一回の測定値の処理に10～30msかかるわけで、単純にdelayを1000ms入れて「1秒」としていると、100回も測定すれば1回分データの個数がずれてくることになります。それで構わないのならそのままでもよいですが、きっちり1秒を期待するなら、せっかくntpでとっている時刻を使って、「秒」の数字が変化したら測定/記録する、という作りにした方がよろしいかと思います。

Comments

[rokurou]

SDカードへの記録をAPPENDモードで追記することで解決しました。
またloopのdelay制御をNTPで行う手法を教えていただきありがとうございます。
これらにより期待する挙動をさせることができました。

色々と足りないところを丁寧にご指摘いただきありがとうございました。