質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.75%

  • MySQL

    5500questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • Linux

    3465questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • CSV

    579questions

    CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

  • sh

    265questions

    shは、UNIX系OSのシェル操作の1つであり、最も基本的なシェルのことです。

CSVファイルの中を抽出してインポートしたい

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 151

s_ayana

score 19

現在csvファイルをインポートするシェルを書いているのですが、csvの中身を選んでインポートするやり方が分かりません。
具合的には、csvファイルのsampleカラムの中が02の値かつexamleカラムの中が0以外の値をインポートしたいです。
selectで例えると、
SELECT * FROM CSVファイル where sample=02 and exmple != 0;
上のこのselect条件でDBテーブルに値をインポートしたいのですが分かる方いたらお願い致します。

試しているコード
#!/bin/sh

HENSU=/var/tmp/$(date  +%Y%m%d)/$(date +file_%d.csv)

mysql -hxxx -uxxx -pxxx <<EOF

use database;

LOAD DATA INFILE '$HENSU' INTO TABLE table FIELDS TERMINATED BY ','ignore 1 lines ;

EOF
~
途中まで LOAD DATA INFILE でやろうとしたのですが、LOAD DATA INFILEにCSVの抽出条件組み込みませんか?

もしくはshellかJavaなどプログラミングのほうでCSVのデータをを上記のように抽出するやり方があれば宜しくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

0

awkを使えば、条件に合致する行のみを抽出できるので、最初にデータ加工することができそうです。

$ cat data.csv
ID,sample,example
1,10,0
2,02,1
3,10,0
4,10,0
5,02,0
6,02,3
7,10,0
8,02,A
9,10,0
10,100,0

$ cat data.csv | awk -F "," '{ if($2=="02")  print $0 }' | awk -F "," '{ if($3!=0) print $0}'
2,02,1
6,02,3
8,02,A

Java等のプログラミング言語を使えばもっと柔軟な条件にも対応できますが、知識のないところから取り組むにはハードルが高いですね。

 コメントを受けての回答

ただshellでcat awkで抽出したときだけ、mysql -h -u -p がAccess denied for user 'user'@'%' (using password: YES) ではじかれてしまいます。普通にmysql -h -u -p だとつながるのですが、権限のことなので申し訳ないのですが何か原因分かりますか?

状況だけで申しますと、mysql -h -u -p時の認証に誤りがあることとなります。
mysql上でselect host, user from mysql.user;にて接続しようとしている端末、ユーザが正しいか、入力しているパスワードが正しいかご確認ください。

修正後のコードの提示がないのでなんとも言えないですが、
今回の抽出をすることで接続できなくなった、ということであれば、
問題点の切り分けとして、shell以外のコマンドで抽出したcsvを作成後、shellで抽出したcsvを指定してimportを実行してください。(元のshellで)
もともと正しく動作していれば、データが変わっただけですので接続は問題なく出来るはずです。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/06 10:20

    ありがとうございます。抽出できました。
    ただshellでcat awkで抽出したときだけ、mysql -h -u -p がAccess denied for user 'user'@'%' (using password: YES) ではじかれてしまいます。普通にmysql -h -u -p だとつながるのですが、権限のことなので申し訳ないのですが何か原因分かりますか?

    キャンセル

  • 2018/06/06 11:44

    SQL コマンドの間違いでした。すみません。
    ありがとうございました。

    キャンセル

0

直接の回答ではありません。
LOAD DATA INFILE 構文 には 条件付きで行を抽出する機能はないようです。

いったん、ワークテーブルにLOADして、
INSERT INTO TARGET_TABLE(COL1, COL2, ...) SELECT COL1, COL2, ... FROM ワークテーブル WHERE ...
とされては?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.75%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    hiveのLOAD DATA LOCALのやり方について

    hiveの初心者です。 hiveで同じフォーマットの複数のファイルをinsertしようとしているのですが、 やり方が分かりません。 LOAD DATA LOCAL INPATH 

  • 受付中

    SQL について

    ご質問いたします。 MySQLにてCSVファイルを読み込む際、「id」フィールドを( int auto_increment)でインクリメントしつつ 「name」フィールドのみにC

  • 受付中

    大量データ処理について

    ショッピングサイトのエンジニアをやってます。 以下質問がございます。 ①月の受注データ(10万件ほど)をselectして、 ②別に読み込んだcsvファイルのデータと1件ずつ突合チ

  • 受付中

    mysql;csvファイルの読み込み

    mysqlで以下のようなcsvファイルを読み込ませたいです. 00000xx_000000x,http://・・・,,,,, 00000xx_000000x,http://・・・

  • 解決済

    csvへの出力

    実現したいこと 下記のような内容のcsvファイルを出力させたいと思っています。 "name","score1","socore2","average" "A","40","

  • 受付中

    MySQLで差分を保存しそのデータも利用する方法

    前提・実現したいこと MySQLで、テーブルの内容が変更されるたびに、その差分を保存し、その履歴を閲覧できるようにしたいです。 例) 所属先が記録される社員名簿。 異動

  • 解決済

    MySQLにCSVでインポートするとエラーが出ます

    MySQLのとあるテーブルにCSVファイルをインポートすると「 CSV 入力のカラム数が不正です (行: 1)。」というエラーが出ます。 試しに上記のエラーが出るデータベース

  • 受付中

    CSVファイルの改行コードの削除

    お世話になっております。 データの移行作業を行っているのですが、移行元データCSVに改行コードが 入っておりSQLLoaderで取り込んだ際に、ずれが起こってしまいます。 (列

同じタグがついた質問を見る

  • MySQL

    5500questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • Linux

    3465questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • CSV

    579questions

    CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

  • sh

    265questions

    shは、UNIX系OSのシェル操作の1つであり、最も基本的なシェルのことです。