不特定フォーマットを決まったフォーマットへ変換

Question

前提・実現したいこと

不特定フォーマットの受取りデータを予めこちらで順番や、名称等で割振り
固定カラムのテーブルへデータをインサートする。

発生している問題・エラーメッセージ

解決案や、改善点を教えていただきたいです。

### WorkTable
|USER_CD|DATA_TYPE|NAME_MEI|NAME_SEI|AGE|SCHOOL
|:--|:--:|--:|
|1000|01|ter|tail|10|None

### ImportFormat
|USER_CD|DATA_TYPE|DATA1|DATA2|DATA3|DATA4
|:--|:--:|--:|
|1000|01|NAME_MEI|NAME_SEI|AGE|SCHOOL
|1100|01|NAME_SEI|AGE|SCHOOL|NAME_MEI

上記様に予め欲しいデータのレイアウト（WorkTable）に
不特定フォーマット（ImportFormatの１、２行目の様な感じ）をImportFormatテーブルにマスタ設定を行い
WorkTableへ綺麗にInsertしたいです。

考えてみているのですが、一向に解決できず、調べてみても記事が見つからず。。

答えではなく、ヒントや単語等、ご教授いただければと思います。

不明確な質問で申し訳ありませんが、お願い致します

該当のソースコード

.NET(C#),Oracle

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

VisualStudio2012

Comments

[dodox86]

何かたぶん、質問として説明不足なのではないでしょうか。実例が良く分かりません。
ImportantFormatとは、提示の例としては1行目、「USER_CD="1000"の受け取りデータはDATA_TYPE="01"に相当し、DATA1からDATA4の4つのデータの並びが順番にそれぞれDBのテーブルで言うところの"NAME_MEI","NAME_SEI","AGE","SCHOOL" のカラム名に相当する。」ようなかんじなのでしょうかね。受け取りデータというものがファイルなのかファイルでもCSVだったりするのか、あるいは別のものなのか分かりませんが、もう少し具体的な説明が必要な気がします。

[Y.Uchi]

ご回答、追記依頼頂き有難うございます。
上記ご回答させていただきます。

USER_CD、DATA_TYPEがPRIMARY KEYのテーブルを作成予定です。

ここで言うDATA_TYPEとは文字通りデータの種類です。
上記例ではユーザ情報になります。
USER_CDが1000のユーザのDATA_TYPEが01(ユーザ情報)のフォーマットは
NAME_MEI,NAME_SEI,AGE,SCHOOLの順で来ているよという情報をマスタとして登録しようと思っていました。

受取りファイルはCSVファイルで現在はカンマで分解して配列に入れ、その後WorkTableへInsertしています。

CSVファイルの分解→WorkTableへの取込みまでは実装しており
マルチなフォーマットに対応する為模索したが行き詰まっているという状況です。

まだ新米でご回答にになっていない部分があればお手数ですが再度ご指摘いただきたく思います。

宜しくお願い致します。

[dodox86]

実運用を考えると、DBのテーブルへのデータ投入は各データの正当性を意外と厳密にチェックして必要に応じて適切にフォーマット、あるいは拒否しないとINSERTに失敗しがちですが、それは置いておいたとしても、具体的にどの部分にひっかかっているのかちょっと質問からは（少なくとも私は）分かりづらいです。SQLのINSERT文への変換をするにしても、OracleならSQL*LoaderでCSVファイルなどから一挙にデータ取り込むにしても、受け取りデータからWorkTableへINSERTする為に、各データを並び替えて投入用データにすればそれで済むような気がするのですが。そういう話ではなくて、でしょうか。

[Y.Uchi]

下の回答者様に打った文章と同じで申し訳ありません。
自分の考えは下記になります。

並べ替える手順と言えばいいのか分からないですが
例えばUSER_CDが1100、DATA_TYPEが01のユーザが取り込みを行う際
ImportFormatテーブルからNAME_SEI,AGE,SCHOOL,NAME_MEIを取得します。
その後WorkTableにInsertするつもりですがWorkTableの順番に並べ替える方法でつまづいています。

[asm]

csvにヘッダー行付けてやれば勝手に解釈してくれそうな気がするんですが
Oracleのcsv読み込み機能は使わない縛りなのでしょうか？

[dodox86]

若干話が噛み合っていないかんじがしますが、例えばSQLのINSERT文なら、
INSERT INTO WorkTable (USER_CD, DATA_TYPE, NAME_MEI, NAME_SEI, AGE, SCHOOL) VALUES ('1000', '01', 'ter', 'tail', 10, NULL); -- Noneは適当にNULLにしている
などと、カラム名の並びをやりたいように変えたり取捨選択できるし、外部ツールのSQL*Loaderを使う場合でも制御ファイルと言うものを作れば自由自在にできます。
C#, .NET Coreを使っているようですので、別の方法でやり取りされているのでしょうか。単純に、配列やList, Dictionaryで並び替える方法が分からないと言う話なのでしょうか。
回答欄でradianさんが書かれているように、ソースを提示した方が良いかもしれませんね。

[Y.Uchi]

単純に、配列やList, Dictionaryで並び替える方法が分からないと言う話なのでしょうか。
この文章が一番適切かと思います。
Dictionaryに一度ファイルの中身を入れて、その後SQLでテーブルへ追加という手順です。

ユーザは何通りもあるとして、
ファイルの中身の１項目目がNAME_MEI、２項目目がAGEだと判断できるのはテーブルの構造上わかるのですが
それをどの様にWorkTableと付き合わせるのかで苦戦しております。

一項目目がNAME_SEIなのは分かるが、WorkTableのどの位置にNAME_SEIがいるのかが分からないといった次第です。

[退会済みユーザー]

読み込み元データがCSVなのであれば、それも質問に追記してください。
CSV⇒テーブル、テーブル⇒テーブルで話が変わってくるので。

[dodox86]

[不要なコメントであることが分かったので削除]

Answer 1

少し別の作業に時間をずっと取られて本件について
即レスできそうにないので一度ベストアンサーを決めクロースとさせていただきます。

ご質問、追記依頼、回答、いただきました皆様有難うございます。

皆様のアドバイスを元に改めてもう一度チャレンジさせていただきます。

また、なにかつまづく様な事がありましたら質問を再度させていただくかもしれませんが
その時はどうぞ宜しくお願い致します。

Answer 2

正規化など、テーブル設計の基礎をきちんと勉強しましょう。ひとつの列には一つの意味しか持たせてはならない。
何度か正規化を無視した設計にでくわしました。テーブル設計をやり直すようにアドバイスして、それを受け入れたシステムはなんとか完成できました(スケジュールは大幅に遅れた)が、正規化を無視したシステムは全部破綻しました。

データベースの正規化 に沿って設計します。
通常第3正規化まで行います。

Answer 3

取り得る値とか、何か規則性やルールが無いと不可能でしょう。
AGEは数値なのでまだ判ると思いますが、NAME_MEIか、NAME_SEIどっちが入っているかをどうやって区別するんですか？SCHOOLも何が入るかよく判りません。

NAME_MEI、NAME_SEI、SCHOOLなどを既にそれぞれ別テーブルに持っていて、そこからマッチングして探せるとかなら可能かもしれませんが。（それでもNAME_SEIとNAME_MEI両方にあるパターン等は有り得そう）

---

ImportFormatテーブルのDATA1～4のカラムを転送元として出力したいなら、下記のようなイメージで行けるのではないかと。デバッグも何もしてないロジックを説明する為だけのソースなので、考え方だけ参考にしてください。

    var tableSrc = new DataTable(); //転送元（Worktableの内容と過程）
    var tableDst = new DataTable(); //出力先
    var tableFormat = new DataTable(); //ImportFormatの内容と仮定

    //USER_CDとDATA_TYPEのTupleをキーにImportFormatのDictionaryを作る
    var dicFormat = new Dictionary<(string, string), DataRow>();
    foreach(var row in tableFormat.AsEnumerable() )
    {
        dicFormat[(row["USER_CD"].ToString(), row["DATA_TYPE"].ToString())] = row;
    }

    foreach(var rowSrc in tableSrc.AsEnumerable() )
    {
        //DictionaryからUSER_CDとDATA_TYPEに対応するフォーマット取得
        var rowFormat = dicFormat[(rowSrc["USER_CD"].ToString(), rowSrc["DATA_TYPE"].ToString())];

        //フォーマットを元に参照するカラムを切り替えて出力
        var rowDst = tableDst.NewRow();
        rowDst["USER_CD"] = rowSrc["USER_CD"];
        rowDst["DATA_TYPE"] = rowSrc["DATA_TYPE"];
        rowDst["NAME_MEI"] = rowSrc[rowFormat["DATA1"].ToString()];
        rowDst["NAME_SEI"] = rowSrc[rowFormat["DATA2"].ToString()];
        rowDst["AGE"] = rowSrc[rowFormat["DATA3"].ToString()];
        rowDst["SCHOOL"] = rowSrc[rowFormat["DATA4"].ToString()];
        tableDst.Rows.Add(rowDst);
    }

Comments

[Y.Uchi]

自分の説明不足で申し訳ありません。

上記のは例でSchoolなどはなにが入る等の想定をしておりませんでした。
失礼いたしました。

予め「この順番でファイルが送られてくる」というのは把握しております。

上記例で言うと、個人からもらえるフォーマットに合わせてテーブル等を作成していたが
複数人に使うシステムにしたい。
しかし、他の人は提出してくるファイルのフォーマットが違う。
個人ごとにプログラムを変更するのは汎用性が無い為、マスタに一度登録すればマルチに対応する事が可能な状態にしたい。

というのが経緯です。
宜しくお願い致します。

[退会済みユーザー]

順序が判って居るなら、一旦データを取得した後にその通りに並べ替えてWorkTableに追加していけば良いのではないかと思いますが、何が引っ掛かってるんでしょう？

[Y.Uchi]

並べ替える手順と言えばいいのか分からないですが
例えばUSER_CDが1100、DATA_TYPEが01のユーザが取り込みを行う際
ImportFormatテーブルからNAME_SEI,AGE,SCHOOL,NAME_MEIを取得します。
その後WorkTableにInsertするつもりですがWorkTableの順番に並べ替える方法でつまづいています。

[退会済みユーザー]

それだけ聞いても、何をアドバイスすればいいかこっちには判らないので、もっと具体的にお願いします。並び替え無しなら追加出来てるのでしょうか？
とりあえず現状C#で実装出来てるソースを提示してください。
[質問するときのヒント]
https://teratail.com/help/question-tips

[Y.Uchi]

並び替えの問題を除けばInsert等は問題無く現状実装できております。

勤め先業務ソフトウェアですのでCodeの抜粋が少しお時間いただかないとできず、
言葉で解決できればと思った次第でした。

まとまった回答をお返しさせていただきたく思うので少しお時間いただきたく思います。
宜しくお願い致します。

[退会済みユーザー]

並び替えだけ出来ないという前提で、とりあえずサンプルソースを追記しました。