APIから取得する処理を繰り返し処理内で実行すると、途中で503エラーが発生することがある。

Question

前提・実現したいこと

カーリルというサイトのAPIから図書館のデータを取得する機能を実装しています。
システムID（図書管理システムのユニークID）と本が持つ固有のISBN番号をURLに入れることで、指定の本がその図書館で取り扱っているか、またその本の貸し出し状況を取得したいです。

以下リクエストとレスポンスの例

レスポンスにcontinueという値があり、0はロード完了、1はロード未完了を表しています。
サイトに記載の通り、1の場合は最低2秒の間隔をあけて再度ロードし、全てのロードが完了することを推奨しております。（当たり前ですが）

私の場合、本を一冊、複数のシステムIDから検索したいので、システムIDを格納したリストからforで取り出し、繰り返し処理内で本を検索するコードを書きました。

最初に一通り検索、その後continueが1のデータがある限り、そのデータを再ロードし続けるというコードです。

// 本のISBN
String isbn = '9784478025819'; 
// システムID
List<String> systemIdList = []; 
// システムIDごとのレスポンスのリスト
List<LibraryDataHasBook> bookDataResult = [];

// 関数
// ISNBを使って図書館を検索
Future<dynamic> getLibraryUseISNB({String? systemId, String? session}) async {
  Uri url;
  if (session != null && systemId == null) {
    url = Uri.parse(
        'https://api.calil.jp/check?session=$session&format=json&callback=no');
  } else {
    url = Uri.parse(
        'https://api.calil.jp/check?appkey=$apiKey&isbn=$isbn&systemid=$systemId&format=json&callback=no');
  }
  http.Response _response = await http.get(url);
  if (_response.statusCode == 200) {
    return jsonDecode(_response.body);
  } else {
    print('エラー発生。エラーコード：${_response.statusCode}');
    return null;
  }
}

// 全てのレスポンスのロードが完了するまで再ロードする
Future<dynamic> getCompletedLoadingSearchResult() async {
  var results = [];
  for (var systemId in systemIdList) {
    // レスポンス取得
    final response = await getLibraryUseISNB(systemId: systemId);
    results.add(response);
  }

  // ロードが未完のデータがあればそこだけ再実行
  while (results.where((result) => result['continue'] == 1).isNotEmpty) {
    print('continue = 1 のため再取得開始');
    // 5秒待つ
    await Future.delayed(const Duration(seconds: 5));
    // continue=1のデータのみ再度実行
    results.asMap().forEach((index, result) async {
      if (result['continue'] == 1) {
        results[index] = await getLibraryUseISNB(session: result['session']);
      }
    });
  }

  return results;
}

// システムIDを使って本を検索しモデル化してリストを更新
Future<void> searchAllBookData() async {
  List<LibraryDataHasBook> list = [];
  // ロードを完了したレスポンスのリストを取得
  final response = await getCompletedLoadingSearchResult(); 
  var index = 0;
  // モデル化
  for (var data in response) {
    var libKey = systemIdList[index];
    list.add(LibraryDataHasBook(
        systemId: libKey,
        status: data['books'][isbn][libKey]['status'],
        libkey: data['books'][isbn][libKey]['libkey'],
        url: data['books'][isbn][libKey]['reserveurl']));
    index++;
  }
  bookDataResult = list;
}


// テスト
void main() {
  
  test('システムIDごとに本の検索', () async {
    // システムIDのリスト
    systemIdList = [
      'Kanagawa_Sagamihara',
      'Univ_Azabu',
      'Special_Jaxa',
      'Univ_Aoyamagakuin',
      'Univ_Kitasato',
      'Univ_Obirin',
      'Univ_Joshibi',
      'Tokyo_Machida',
      'Univ_Yamazaki',
      'Tokyo_Hachioji',
      'Univ_Tmu',
      'Univ_Otsuma',
      'Univ_Salesio',
      'Tokyo_Tama',
      'Univ_Sagami_Wu',
      'Univ_Tamabi',
      'Kanagawa_Atsugi',
      'Kanagawa_Zama',
      'Univ_Toyaku',
      'Univ_Keisen',
      'Univ_Chuo',
      'Univ_Yamano',
      'Tokyo_Hino',
      'Kanagawa_Aikawa',
      'Univ_Teu',
      'Univ_Meisei',
      'Univ_Zokei',
      'Univ_Teikyo',
      'Univ_Kokushikan',
      'Kanagawa_Yamato',
      'Univ_Kait',
      'Univ_Nms',
      'Kanagawa_Ebina',
      'Univ_Tamagawa',
      'Univ_Jissen'
    ];

    // 本を検索
    await searchAllBookData();
    // 中身を確認するコード
    bookDataResult.asMap().forEach((int i, LibraryDataHasBook data) {
      print('no.${i + 1}----------');
      print("""
      systemid: ${data.systemId}
      status: ${data.status}
      url: ${data.url}
      libkey: ${data.libkey}
      """);
    });
  });
}

発生している問題・エラーメッセージ

ロードが完了するまで繰り返し実行しているのですが、何故か3回目で頻繁にエラーが発生します。
カーネルにエラーコード503についての補足が見つからなかったので調べましたが、一般的に503は『一時的なアクセス不可の状態』とのことでした。

/Users/user/flutter_dev/flutter/bin/flutter --no-color test --machine --start-paused --plain-name システムIDごとに本の検索 test/get_response.dart
Testing started at 14:58 ...

continue = 1 のため再取得開始
continue = 1 のため再取得開始  ←2回目までは実行できてる？
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
エラー発生。エラーコード：503
continue = 1 のため再取得開始
dart:core                      Object.noSuchMethod
test/get_response.dart 134:17  getCompletedLoadingSearchResult.<fn>
test/get_response.dart 133:29  getCompletedLoadingSearchResult.<fn>
dart:_internal                 ListMapView.forEach
test/get_response.dart 133:21  getCompletedLoadingSearchResult
===== asynchronous gap ===========================
dart:async                     _completeOnAsyncError
test/get_response.dart         getCompletedLoadingSearchResult.<fn>
test/get_response.dart 133:29  getCompletedLoadingSearchResult.<fn>
dart:_internal                 ListMapView.forEach
test/get_response.dart 133:21  getCompletedLoadingSearchResult
===== asynchronous gap ===========================
dart:async                     _asyncThenWrapperHelper
test/get_response.dart 146:26  searchAllBookData
test/get_response.dart 344:11  main.<fn>
test/get_response.dart 305:25  main.<fn>
NoSuchMethodError: The method '[]' was called on null.
Receiver: null
Tried calling: []("continue")

// 以下、似たようなエラー文のため省略

試したこと

・時間をおいて再実行　→　成功するケースもあれば失敗するケースもあり再現性がない
・別の本を検索した後で再実行　→　同上
・待機時間を5秒〜15秒の間隔で試したが変化なし
・たまに一発で成功するケースもある

以上よろしくお願いします。

Answer 1

beadv様のご回答を参考にしてforEachをしている処理のasyncを消したところ、『asyncがありません』というエラーが発生しました。

検索してみたらFuture.forEach()という非同期処理用のforEachメソッドがありました。

int index = 0;
await Future.forEach(results, (result) async {
        result = result as Map<String ,dynamic>;
        if (result['continue'] == 1) {
          results[index] = await getLibraryUseISNB(session: result['session']);
        }
        index++;
      });

ただ、このメソッドはインデックスの取得ができないことと、結局asyncをつけないとエラーになるので、以下のコードに書き換えて実行したとこ上手く機能しました。

int index = 0;
for (var result in results) {
  if (result['continue'] == 1) {
          results[index] = await getLibraryUseISNB(session: result['session']);
     }
  index++;
}

一つの処理の中で繰り返し処理があり、その中で非同期処理を複数回実行させたい場合は上記のコード、そうじゃない場合はFuture.forEach()を使う、ということに落ち着きました。

なぜforEach()だとasyncが必須なのにfor文だと要らないのかは不明ですが、解決したのでよかったです。

Answer 2

こんにちは。

getCompletedLoadingSearchResult　の中の
results.asMap().forEach((index, result) async {
の記述ですが、ここにasync があることで、このfor文は中で処理されている
results[index] = await getLibraryUseISNB(session: result['session']);
の処理を待たずしてループを抜けているということはないでしょうか？
（async の {} の部分が別スレッドになって非同期処理している）

その結果、while のループの２回目に突入し、５秒待った時点で、まだ前回の
getLibraryUseISNB(session: result['session']);が終わっていない
あるいは終わった直後のものがあり、ポーリングの間隔が短いセッションが発生して
エラーになっているのではないかなぁと思うのですが、
このasyncをとるか、このforeach 部分を外に出してFutureを宣言したサブルーチンに
変更したら、改善しないでしょうか？

Comments

[massanmesu]

beadv様
ご教授ありがとうございます。

「awaitをつけるときは必ずその処理をしている{}にasyncをつける」という覚え方をしていたので、不必要にスレッドをつくってしまっているのかな、とご回答を読んで思いました。
もし関数内で非同期処理をする場合、別スレッドで処理したい場合以外は関数の{}にひとつasyncを付けるだけで良い、ということなのでしょうか。

今日はもうできない状態なので明日の朝に確認してみます。

[beadv]

>非同期処理をする場合、別スレッドで処理したい場合以外
非同期処理をする＝別スレッドで処理する ですので、きっと「非同期処理をする場合」ではなくて
「非同期処理を待つ場合」という意味合いですね。

処理がawaitに当たるとそのスレッドの処理が止まってしまうので、メインスレッドが止まって
無応答にならないように、awaitはasyncの処理内でなければ書けないと思いますが、
関数レベルでasyncなら大丈夫だったんじゃないかと思います。（間違ってたらすみません）

ちょっと気になるのがforeachがメソッドなので、この部分が内部関数として
１塊と認識されていないか、ということなんですが（この場合asyncが外せないと思います）
実際問題として、ここのforeach部分が非同期処理になると、システムIDの数だけ
先方のサーバにウエイトなしでリクエストを投げることになるので、あまりよろしくないと
思います。なので、例えばresults.asMap()　をいったん別の変数で受けて、
その変数のリストの長さの分だけfor文で回す、などで、リクエストがパラレルで動かない
方向で検討した方がよいのではないかと思います。

[massanmesu]

関数の中でforEachを使う場合の話ですよね？
関数のスレッドとは別のスレッドで処理されてしまうので大元の関数の処理を無視してリクエストを送ってしまうという認識でしょうか(いまいち理解が追いついていません)。
以下のようなコードにしろ、ということでしょうか？
int length = results.length;
for (int i = 0; i >= length; i++) {
// 非同期処理
}

[beadv]

>関数の中でforEachを使う場合の話ですよね？

ちょっとニュアンスが違うかもしれません。
例えば元のコードですが

while (results.where((result) => result['continue'] == 1).isNotEmpty) {
print('continue = 1 のため再取得開始');
// 5秒待つ
await Future.delayed(const Duration(seconds: 5));

この部分、await を使用しているのに、直前の whileに続く｛　にはasyncがないですよね？
if やwhile やfor は単なる制御文なので、この場合、このawaitがどの関数の中にあるか？
といえばgetCompletedLoadingSearchResultの中、ということになり、この関数がasyncなので
大丈夫なんだと思います。

それに対してresults.asMap().forEach((index, result) async { という文のforEachは
results.asMap()のメソッドで、引数として、元のオブジェクトの集合から取り出した１つの
index,resultの組を受け取る変数と、各々のオブジェクトが実際に実行したい処理を
関数として受け取っているのです。この場合async { 以降対応する} までが名前のない
関数の定義ですので、この処理の中にawaitを記述するならこの関数のボディは asyncで
ある必要があるという解釈です。

ざっくりしたイメージですが、
〇〇.foreach(xxx　 {
　処理1
　処理2
　処理３
})
となっているときに、〇〇がA,Bの２つの集合なら、処理の順番は
　A.処理１
　A.処理２
　A.処理３
　B.処理１
　B.処理２
　B.処理３
となると思います。asyncがないので、Aの処理の塊が終わってBの処理、という流れですね。
ここで、処理２が非同期処理だとして
〇〇.foreach(xxx　async {
　処理1
　await 処理2
　処理３
})
だと、Aの処理２の実行に入ったところでいったんこの処理はストップして、
　A.処理１
　A.処理２ で処理中断したところで、B.処理１
　B.処理２ で処理中断
　A,処理２終わり
　B.処理２終わり
　A.処理３
　B.処理３

　のように流れが変わります。（B.処理２ で処理中断以降はこのパターンなるとは限りません）
　awaitにぶつかったところでAに対する処理とB.に対する処理がそれぞれ別々に
　行われてしまうイメージです。

　前回のコメントの例えば、でご提案したのは、foreachメソッドではなくfor文にすることで、awaitを使っても
　Aの処理が終わってBの処理という流れにした方がよいのではないかということですので
　ご自身で解決されたresultsのfor文と意味合い的には一緒です。
　（元のコーディングのイメージと対比して考えたのでインデックスを使うような流れを
　　例として挙げました）

　長くなってしまいすみません。イメージわきますでしょうか？

[massanmesu]

ご丁寧に解説していただき感謝です！！

results.asMap().forEach((index, result) async { await }
の処理だと一つ目のresultのawaitが実行したら二つ目のresultの処理が始まってしまい、awaitのタイミングでまた次のresultが処理されるので、awaitの処理がAPI通信の場合だと「サーバにウエイトなしでリクエストを投げることになる」という認識でよろしいでしょうか？

[beadv]

はい。そのような動きをすると思います。

[massanmesu]

勉強になりました。ありがとうございました。