質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.91%

MySQLにCSVをインポートする際のベストプラクティス

解決済

回答 3

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 179

fukazume

score 67

(はじめに)

抽象的な質問で申し訳ございません。
もっと具体的説明が必要な点などございましたら、適宜補足いたしますのでよろしくお願いいたします。

■質問

CSVのwiki には、

CSV形式の細部の実装はソフトウェアによって異なるため(例えば項目を単一引用符' 'や二重引用符" "で括ったり、ファイルの一行目をヘッダとして予約したりなど)、他のソフトウェアで表(テーブル)として読み込む際に互換性で問題が出る場合がある

とありますが、

  • CSVファイルを生成する際、またはMySQLにCSVをLOAD DATA文でインポートする際のベストプラクティスなどはありますでしょうか?
  • シングルクォーテーション、ダブルクォーテーションによる括りの有無で長所短所などはありますでしょうか?
  • そもそも括り記号はどういったケースで有用でしょうか?

■現状

"数値型データ", "日付型データ", "文字列型データ", みたいな構造でとりあえず、ダブルクォーテーションで括ってCSVデータを生成しLOAD DATA文でMySQLにインポートしていますが、そもそもこれら括り記号は不要なのではないかな?と思い始めています。

どうぞよろしくお願い申し上げます。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+1

・CSVファイルを生成する際、またはMySQLにCSVをLOAD DATA文でインポートする際のベストプラクティスなどはありますでしょうか?

#ベストプラクティスかどうかは別として注意点。
・タブや改行の扱い
GUIではタブは項目間の移動に使用される事が多く、単項目の入力でキーボードの入力によりタブが含まれる事は無いが、コピー&ペーストでは含まれるので考慮は必要。
項目内の改行はある事を前提にした方が良い。

・Nullの扱い
LOAD DATAではNull文字の指定は可能ですが、一旦全て文字列属性の一時テーブルで受け取ってから処理する方が楽。
データの取込が外部とのインターフェースなどが目的なら、チェック目的としても使用できますので。

・シングルクォーテーション、ダブルクォーテーションによる括りの有無で長所短所などはありますでしょうか?
・そもそも括り記号はどういったケースで有用でしょうか?

CSVやTSVで使用される制御コード(項目区切り,行区切り)=(,や改行)と同じコードが項目内に含まれるときの為に、括り記号は必須と考えた方が無難です。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/16 15:00 編集

    「括り記号は必須と考えた方が無難です。」、このお言葉により自分の中で進むべき道が決まった気がします(大げさ)。なるべく括り記号を付ける方針で参りたいと思うのですが、その場合、極端な話として以下のレコードのようにシングル/ダブルの併用や有無の混在すると、CSVやMySQLの指針から逸脱しますでしょうか?

    例:数値型データ, '日付型データ', "文字列型データ",

    キャンセル

  • 2020/07/16 15:26

    括り記号として混在は駄目です。ENCLOSED BYで指定できるキャラクターは一つです。
    OPTIONALLYを付けると文字型のみ付加されます。

    キャンセル

  • 2020/07/16 15:55

    おっしゃるとおりでした。CSVの事ばかり考えてうっかりしておりました。ありがとうございます!

    キャンセル

+1

  • 文字列のエンクロージャにダブルクォート
  • ダブルクォートを文字として扱うには文字を重ねる
  • データ区切りにカンマ
  • レコード区切りに改行マーク

※一部調整

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/16 11:00

    これを守らないときはそれなりのトラブルが想定されるということです
    トラブルを自己解決できるならいろんな省略は可能です

    キャンセル

  • 2020/07/16 14:53

    ご回答いただきありがとうございます!

    キャンセル

+1

そもそも括り記号はどういったケースで有用でしょうか?

データ内にカンマが入る場合、何らかの形でデータ区切りとしてのカンマと識別できる必要があります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/16 11:00

    データにタブが入る可能性が低いなら、タブ区切りのほうがより安全かもしれません(LOAD DATA INFILEもデフォルトはタブ区切りです)。

    https://dev.mysql.com/doc/refman/5.6/ja/load-data.html

    キャンセル

  • 2020/07/16 14:54

    テキストを扱う事が多いならタブ区切りのほうが一番リスクが低そうですね。ご回答いただきありがとうございます!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.91%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る