Firebaseにおける大量データ書き込みの際のエラーハンドリングについて

Question

###前提・実現したいこと
現在、RDBにあるデータをFirebaseのCloud Firestoreにデータ移行したいと考えています。
RDBのデータをCSVファイルに書き出すこところができています。

###詰まっていること、悩んでいること

Node.js で移行スクリプトを書いているのですが、データ移行の際に気をつけることやエラーハンドリングについてどのようにしたら良いのかわかっていません。

1. dbへの書き込み処理でエラーを起こした際の対処
2. データ移行について一般的に考慮すべきこと
3. csvから読み出したデータの扱い方について、下に示すようにarray[0]のように扱うよりももっと良いベストプラクティスがあるのではないか？

などを知りたいと思っています。

現在、いかに示すスクリプトを実行するとほとんどのデータは書き込みできているのですが、いくつかのデータでは以下のようなエラーが出ます。

(node:97867) UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 598): Error: Deadline Exceeded

###該当のソースコード
csvファイルは以下のようになっています。(参考ファイルです。)
id,名前,性別,住所

(住所が欠損しているデータがあるとしています)

1,Sam,male,Saitama
2,Tom,male,Tokyo
3,Taylor,female

このようなcsvファイルが900行近くあり、それを全て書き込み処理をしたいと考えています。

const firebaseAdmin = require('firebase-admin')

// 認証設定
const serviceAccount = require('./env-firebase-dev-firebase-xxx.json')
firebaseAdmin.initializeApp({
  credential: firebaseAdmin.credential.cert(serviceAccount),
  databaseURL: process.env.FIREBASE_DATABASE_URL
})

const db = firebaseAdmin.firestore()
const usersRef = db.collection('users')

// csvファイルの読み込み設定
const fs = require('fs')
const csvSync = require('csv-parse/lib/sync')
const file = 'dump.csv'
let data = fs.readFileSync(file)
let res = csvSync(data)

// 書き込み処理
res.forEach(function(user) {
  #addでレコードを新規作成する
  usersRef.add({
    id: Number(user[0]),
    name: user[1],
    sex: user[2],
    address: user[3]
  })
}, this);

よろしくお願いします。

Answer 1

dbへの書き込み処理でエラーを起こした際の対処

Error: Deadline Exceededとある通り，時間かかり過ぎで怒られているようです．
CSVの分割が簡単な対処ではないでしょうか．

データ移行について一般的に考慮すべきこと

まずそもそもの話ですが，realtime databaseのほうが場合によってメリットもあることはご認識ください．
・読み書きの非常に多いサービスでは，Firestoreより安くなりやすい（お絵かきチャットなど）
・全般的に少し簡単
・オフライン検知ができる
・低レイテンシ，反映が速い

具体的な移行ベストプラクティスに関しては，まだまだコミュニティ全体としてもノウハウ蓄積待ちの状態とは思いますが，
ひとまず推奨できることとして，batch()を利用した一括書き込み（Batched writes）は，多くの場合で速度向上につながるかと思われます．

それから，データ構造など少し違うのはもちろんですが，セキュリティルールについても違うためご確認ください．

csvから読み出したデータの扱い方について、下に示すようにarray[0]のように扱うよりももっと良いベストプラクティスがあるのではないか？

書き込むFirestore内でのデータ構造ではなく，単に読み込んだCSVデータの扱い，ということでしょうか？
移行は一時的なものですし，そもそもあまりそこにこだわる意味はないのではないか，と思いますが，いかがでしょうか．

Comments

[daikitakaya]

ありがとうございます。

csvの分割は確かに必要でした。どうやら一度に書き込む量は500件までらしいです。

データの書き込みに関しては、transactionを使って分割したcsvで書き込むことにしました。

return db.runTransaction(function(transaction) { // データ書き込みの原子性を担保
return transaction.get(usersRef).then(doc => {
users.forEach(function(person) {
if (shop.shop_status === 'male') {
transaction.set(mansRef.doc(), shop)
} else if (user.sex === 'female') {
transaction.set(womensRef.doc(), shop)
}
}, this);
})
}).then(function() {
console.log('データ移行に成功しました');
}).catch(function(error) {
console.log("失敗したぜ: ", error);
});

ただ、ブログにひもづくコメントテーブルなど、リレーション関係を持ったテーブルの移行ではかなりてこづっています。。。。

real time databaseは確かに早くていいですよね。
firestoreを使い始めて改めて感じました。ですが、クエリの表現がいまいち少ない印象なので、思い切ってfirestoreを使ってみました。

[Yatima]

どう手こずっているのか，もう少し具体的に書いていただくと手助けできるかもしれませんが，
煩雑になってくる/題意とも少しズレてくるでしょうから，質問立て直しが良いかもしれません．