質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

2回答

19112閲覧

Pandasで列数の異なるファイルを読み込む

Ykkykk

総合スコア140

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2018/08/24 07:15

PandasでCSVファイルを読み込む処理を作りたいと思っています。
現在、Djangoを使用して、ファイルアップローダを作成し、CSVファイルを読み込めるようにはなっております。

しかし、行に対する列数が異なるファイルをアップロードしようとすると、parseerrorとなってしまいます。

Python

1import pandas as pd 2df = pd.read_csv('CSV_file', header=None, low_memory=False)

としてPandasでファイルを読み込んでおります。
ここで、引数としてnamesを与え列名を付与すれば足りない部分を欠損値として埋めて読み込むことができる、ということや、引数error_bad_lines=Falseにすればおかしな行を飛ばして読み込んでくれるということはわかります。

一方で、読み込むCSVファイルに対して、列数の規定を設け、列数が規定と異なる場合は処理を終了するようにしております。引数namesを与えてしまうと、すべてのファイルが規定を満たしてしまうことになると気づきました。
また、header=Noneとしているので、Pandasが勝手に列名を与えてくれているのだと思うのですが、その列名ではnamesで列名を与えたような形でファイルを読み込んではくれないようです。

このような場合、規定のカラム数でのバリデーション(?)を維持しつつ、parseerrorにならないような方法はあるのでしょうか?

ご教示くださいますと幸いです。よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

そういう処理は、pandasにはあまり向いていませんとしか言いようがないのです。

テーブル状のデータを読み込んでしまえば遺憾なく威力を発揮してくれますが、元々テーブル状になっていないデータに対しては無力です。

とりあえず欲しいテーブルの形になるまでは文字列処理なり標準のcsvモジュール等で読み込んで、その後にpandasのデータフレームに変換して取り扱うというのが一つの選択肢になると思います。

pandasで欠損値の出現位置に基づいて処理してもできなくはないと思いますが・・・

あとは、

列数の規定を設け、列数が規定と異なる場合は処理を終了するようにしております

という設計を捨てられるなら、それが一番手っ取り早いです。

投稿2018/08/24 23:05

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Ykkykk

2018/08/26 23:57 編集

ご回答いただきありがとうございます。基本的には同じ列数のファイルを常に読み込むことを考えているのですが、列数の異なるファイルがアップロードされた際に弾くような機能をバリデーションとしてつけたほうがよいのかな、思いました。 ですので、列数が異なる場合は極めて稀な状況ではあると思います。
hayataka2049

2018/08/27 01:58

それなら単純に例外処理で弾けば良いのでは
Ykkykk

2018/08/27 02:16

そのように処理を行うようにしたいと思います。 try: df = pd.read_csv('CSV_file', header=None, low_memory=False) except Exception: form.add_error('file', 'NO') という形にしたのですが、例外処理ができていないです。 raiseで例外をあげるのだと思うのですが、このようなif文がない場合はどのように記述することになるのでしょうか?
guest

0

バリデーションの目的はなんでしょうか?

クリアしてなければ弾くことが目的ならば、try〜exceptでエラーを潰せば終わりです。

クリアしていないのにエラーを出さないのなら、バリデーションの意味はないのでは?

投稿2018/08/24 13:07

mkgrei

総合スコア8560

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Ykkykk

2018/08/26 23:53

ご回答いただきありがとうございます。 おっしゃられておりますように、規定数と合致していないファイルは読み込まずに、列数が違いますという表示をさせようかと思っております。そのような場合はtry-except文を使うことになるのですね。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問