質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.49%
データベース

データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

データベース設計

データベース設計はデータベースの論理的や物理的な部分を特定する工程です。

データ構造

データ構造とは、データの集まりをコンピュータの中で効果的に扱うために、一定の形式に系統立てて格納する形式を指します。(配列/連想配列/木構造など)

データベーススペシャリスト

データベーススペシャリスト試験 (DB)は、IPA 独立行政法人 情報処理推進機構の実施している国家資格です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

Q&A

解決済

1回答

1483閲覧

kintone, Airtable, FileMakerなどのDBaaSというかDBアプリのデータバックアップ・データアーカイブ先

退会済みユーザー

退会済みユーザー

総合スコア0

データベース

データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

データベース設計

データベース設計はデータベースの論理的や物理的な部分を特定する工程です。

データ構造

データ構造とは、データの集まりをコンピュータの中で効果的に扱うために、一定の形式に系統立てて格納する形式を指します。(配列/連想配列/木構造など)

データベーススペシャリスト

データベーススペシャリスト試験 (DB)は、IPA 独立行政法人 情報処理推進機構の実施している国家資格です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

1グッド

0クリップ

投稿2021/08/02 13:24

編集2021/08/02 13:43

背景

1年に約1.1万件増えていく在庫データがあります(現在3万件近く)。
Airtable、kintoneのようなDBaaSというかデータベースアプリを使って運用していて、APIを叩いたり、帳票機能やビュー切替機能、権限コントロールなどすごく便利で使い倒しています。

私は、Pythonで業務の自動化をするところからキャリアが始まった社内SEで、データベースにそもそもどんな種類のものがあって、一般的にどういう運用がされているものなのかに疎いです。最近SQLの勉強を始めたところです。インフラ周りの知識もないです。

課題

そもそもバックアップをとっていないし、件数が増えたせいか、最近アプリの動作が重く感じるので、全行程が終了したデータというのは別にアプリ内になくてもよいのでどこかに移したいです。
移しても通年の分析に使うのにビッグクエリーやGoogleデータポータル(旧データスタジオ)などに繋げたいとは思っています。

そこで質問

ざっくり聞くと、この場合はどんな運用方法がいいでしょうか?
クラウドストレージにcsvで5000件ずつ吐き出す、5000件ごとにGoogleスプレッドシートに吐き出していく、などでもいいです。
この方向で、というのが分かったら勉強するので、**データアーカイビングってどんなツールを使ってどうやってやるものでしょうか?**というのが知りたいです。
軽くググった感じ、Amazon S3とか使う感じですか??

注意

割と厄介なのかなと思うのが、データベースはみんなが触ってるので例外的な値が珍しくなかったり(基本選択肢が[東京,大阪,名古屋]だとすると、実際のデータには[東京,大阪,名古屋,東京(横浜),東京(千葉)]がある)、構造や名称が途中で変わったり(例えばある列のデータが"〇"と"×"だったのが"到着"と"未着"にある時期から変更される、列が増えているなど)と、必ずしも構造が一定でなかったりします。Power Queryくらい柔軟であってほしかったり、CSVやエクセルなどのように簡単にデータが入ってほしかったりします。

それから、バックアップとアーカイブは別物だと思うのですが、バックアップはより高いプランに課金すればアプリ内でできるので、どっちかというとアーカイビング・データの退避が主眼です。

yryuya👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

odataiki

2021/08/02 14:28

なんといいますか、回答が付きにくい質問文と感じています。 (既に低評価がついてますが・・・) 「この方向で、というのが分かったら勉強するので」 運用方法、その方向性についてはまず社内で話し合うべきかと思います。 その上で技術的課題にあたったときに質問すると回答が得られやすいと思います。
退会済みユーザー

退会済みユーザー

2021/08/02 15:27 編集

すみません、話し合う相手は、全て1人でやっているのでいません。 検討するに当たってそもそもどんな運用方法や方向性があるのか、検討する材料がほしい、 例えば有名どころのツール、 とかが知りたかったです。知らない分野だと、ツールが持つ機能から、やるべきことが見えたりするじゃないですか? と思っているのですが、よくないでしょうか?
guest

回答1

0

ベストアンサー

ニーズにマッチしそうなのは「ドキュメント型データベース」でした。
mongoDBをAtlasで始めてみます。

  • そもそもmongoDBにレプリケーションしておく
  • 定期実行で、mongoDBと相違がないことを確認しつつ設定したプロセス終了条件に適うデータをDBアプリ退避させる

という方向で行こうと思います。

言葉にして投稿していたらいろいろ気づきました。コミュニティ、サービスに感謝です。

投稿2021/08/03 13:42

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.49%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問