質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.75%

  • SQL

    2229questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

現行システムから新システムへのデータコンバート

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 211

yamaguti

score 99

お世話になっております。

皆さんが仕事等でデータ移行をする際には、どのようなツール等を使っているのでしょうか。

私はPL_SQLを使い移行を行っていますが、複雑な移行をする場合などは
時間がまる1日以上かかってしまう場合があります。

また移行PGを作るじかんを考えると、ものすごい工数になってしまいます
なにか別の方法等があれば教えて頂ければ幸いです。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

0

移行元と移行先のデータ形式が何かによって使用するツールは変わります。

移行先については殆どがデータベースなので、データインポート以降はそのDBMSが提供するツールとSQLのスクリプトですね。

それ以外でよく使うのは、以下にあげたものくらいです。
・テキストエディタ
サクラエディタを良く使ってます。
スクリプト系のプログラミングをする場合や、データの加工で使用します。 
(かなり大きいサイズのデータでも開くことができるのと、矩形処理ができるのでデータ整形などに)
・エクセル
データ加工や、移行データの分析資料などで使用します。
工夫すれば、DBツールで取得したデータを張り付けて見栄えを整えるくらいで済みます。
・Access
色々重宝します。
コード変換で使ったり、クロス集計が簡単にできるので、分析資料のデータ加工などに。
・vbs、bat、shellなどのスクリプト系

移行先に合わせたデータ編集は、移行元データを加工せずにそのレイアウトのワークテーブルを作成し、移行用のストアドを作成して処理します。

移行時の処理は再利用や再実行を意識して設計すると、移行時のイレギュラーにも流用が効き工数を掛けずにすみます。
また、移行先のデータを加工する事に比重を置いた設計をしておくと、稼働後のデータ保守にも流用しやすくなります。

それから、処理時間もかなり意識してチューニングを行います。
「移行だし、一度きりだからいいや」みたいなことでやっていると、エラーで再実行が必要になったり、追加データが発生した場合などに、長時間付き合わされることに。
なにより、検証などに掛かる時間を短縮できるのが一番ですけど。

移行は大変だと思います。ここには書ききれないことが山ほどあります。
でも、超える山が大きい程やり遂げた時の達成感があります。(自己満足の類かもしれませんが)

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

SQLには得意な処理と苦手な処理がありますので、
その辺りも意識できると移行時間の短縮に繋がるかと思います。

oracle使って丸一日以上かかるということは、
数億レコード以上の移行が発生しているようなイメージですが、
認識はあっているでしょうか。

insertの時に自己参照しながらinsertすると
件数が増えると共に時間が非常にかかります。
1万件、10万件、50万件、、、と増やしていったときに
時間のかかり方が件数に比例しない場合は疑ったほうがいいです。
別のtmpテーブルに一次データを格納して正しくいindexを利用することで
比較的短時間に収まったりします。

あと全く別の方法ということで、
件数にもよりますが、
新システムの入力ファイル形式のファイルを
現行システムから出力して、
そのまま新システムで取り込むと移行完了ということも可能なケースも稀にあります。
そうすると新システムにあったデータが入っているかチェックも行う必要がないので、
工数はも短縮されるかと。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/09/17 01:46

    ご回答ありがとうございます。
    参考にさせていただきます。

    数億レコードでまた複数の移行元テーブルを結合して、移行処理を行っております。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.75%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    Fatal error: Possible integer overflow

    PHP構文の記述において整数入力をしていたところ、Fatal errorが出てしまいました。 システムエラー内容は「Possible integer overflow」と書い

  • 解決済

    Elasticsearchのriversプラグインとは?

    Elasticsearchでriversといういろいろなプラグイン群が ありますが、これらは何なのでしょうか? 良ければ教えて下さい。

  • 解決済

    デュアルブートについて

    ubuntuとwindows10のデュアルブートしました。 でも、PC起動時にubuntuの背景紫色(GRUB?)が出てきます。 自分が思っていたのはwindowsのboot画

  • 受付中

    ECサイトの設定内容はどうやってコピーできますか?

    前提・実現したいこと ローカルにあるECサイトのテスト環境をMacでつくっていて、サイト自体はコピーできましたが設定内容はコピーできていません。おそらくデータベースをコピーす

  • 解決済

    handsontableでセル内の計算を行いたい

    前提・実現したいこと handsontableを使用して行の計算を行いたい。 「ここ」と「ココ」の計算結果を「実績」に入れたいんです。 columnSummaryの書き方がイ

  • 解決済

    Node.jsのSocketioのListenとexpressのListenの違い

    Node.jsでは SocketioのListenと expressのListen が有りますが、それぞれどう違うのでしょうか? セキュリティについて検証したいのですが、ど

  • 受付中

    DBMSの機能について

    この問題ではfが正解なのですが、なぜなのかわかりません。 教えてください。

  • 解決済

    Pythonとjsのプログラムの通信について

    前提・実現したいこと 下記Githubに掲載されているclmtrackrについて,example/emotion_detection.htmlを実行した時に画面表示されるhappy

同じタグがついた質問を見る

  • SQL

    2229questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。