日本語解析でメモリを大量に消費してしまう

Question

前提・実現したいこと

swiftやMacosアプリ作成の初心者です。日本語文章を形態素解析してスペース区切りの単語の列に変換する処理をmacアプリで行っております。

発生している問題・エラーメッセージ

少ない文章でサンプル処理をするとうまく動作するのですが，80Mbの文章を対象に処理すると，400kbほど書き込んだところで数十Gbのメモリを消費して，ダウンしてしまいます（メモリがないと言われる）。以下のコードですが，どこに問題があるのでしょうか。もしくは，このようにすると良いというアドバイスをいただければと思います。おわかりになる方，ヒントをください。

該当のソースコード

guard let h_src = FileHandle(forReadingAtPath: srcFile) else{           
    return
}
guard let h_res = FileHandle(forWritingAtPath: targetFile) else{
   return
}

/// 内容を読み込む
let srcContents = h_src.readDataToEndOfFile()
guard let contentSrcString = String(data: srcContents, encoding: .utf8) else{
  return
}
///改行文字で区切る
let sentence = contentSrcString.components(separatedBy: "\n")
let space = " "
let spaceData =  space.data(using: .utf8)!
///１行づつ処理
for sen in sentence {
   let ans = Tokenizer.tokenize(text: sen)
   for var item in ans {             
       ///数詞の場合に　N に置き換え
       let predicate = NSPredicate(format: "SELF MATCHES '\\d+'")
       if predicate.evaluate(with: item) {
         item = "N"
       }
       // String->Dataに変換
       let itemStr = item.data(using: .utf8)!
       // Dataを書き込み
       h_res.write(itemStr)
       h_res.write(spaceData)
   }
}
h_src.closeFile()
h_res.closeFile()

補足情報（FW/ツールのバージョンなど）

xcode 12.5

Comments

[hoshi-takanori]

for sen in sentence ループの中身を autoreleasepool { 〜 } で囲むといいかも。
https://rils-k.hatenablog.com/entry/2021/05/30/165625

[jbe00214]

早速ありがとうございました。今のところイイ感じです。

[jbe00214]

６％進捗で，３００Mbのメモリ使用で推移している。これ以上増えない模様。 うん，たぶん，うまくいきそう。ありがとうございました。ベストアンサーにしたいんですが・・・・

Answer 1

Swift 言語では Objective-C と同様に、メモリ管理には参照カウント方式を採用していますが、これに加えて、macOS や iOS の基盤である Foundation フレームワークには、一時的なオブジェクトを取っておくためのオートリリースプールという仕組みがあります。GUI アプリケーションではイベント処理のたびにオートリリースプールが解放されるので、ふだんはあまり気にしなくても良いのですが、大量のデータを処理する場合などは、自分で定期的に解放する必要がある場合があります。
参考: Swiftのメモリ管理 | Swiftの始め方 (Swift 言語の解説なので、オートリリースプールの解説はありません)
参考: オートリリースプールの使い方と基本 : Objective-C プログラミング (Objective-C の記事ですが、基本的な考え方は Swift も共通です)

具体的には、for sen in sentence { の中身を autoreleasepool { 〜 } で囲むと良いでしょう。
参考: 【Swift】Forループの中で重い処理をしたい場合はautoreleasepool{}でメモリ解放。 - 元文系大学生iOSアプリ開発ブログ

 for sen in sentence {
+    autoreleasepool {
         let ans = Tokenizer.tokenize(text: sen)
         for var item in ans {             
             /// 略
         }
+    }
 }

Comments

[jbe00214]

ご丁寧に解説いただきましてありがとうございました。処理は先程終了し，すべてうまく期待通りにできました。