pandasで読み込んだcsvの行数がおかしい

Question

前提・実現したいこと

600MB程度のcsvファイルから特定のカラムのみ取り出して別ファイルに出力したいです。
元のcsvはバックアップ用でカラムが約200あって扱いづらいので、別の用途で使用するために別ファイルを作ろうと思っています。

発生している問題・エラーメッセージ

pandasのchunksizeを使って試してみたところ、元ファイルの行数と一致していません。
chunksizeの設定値を変えると出力される行数も微妙に変化します。
元ファイルの行数は17万行あるのに出力されるのは約6万行です。

該当のソースコード

import pandas as pd

target = 'Account_original.csv'

df0 = pd.read_csv(
    target,
    sep='\t',
    encoding='utf-8',
    usecols=['Name','AccountCode__c','CorporateAddress__c','CorporationNumber__c'],
    chunksize=1000
    )

df0.get_chunk()
df = pd.concat((r for r in df0), ignore_index=True)
out = 'Account.csv'
df.to_csv(out, sep='\t', encoding='utf-8', index=False)

試したこと

当初は一度に読み込もうとしたのですが、出力後の行数がおかしかったので分割してみました。
それでも解決しなかったのでchunksizeの値を変更してみたり、出力するカラムを1つにして試してみたりしましたが結果は同じでした。
また、pandasを使わずにcsv.readerを使うと正常に出力されるますが時間がかかりすぎて困っています。

バージョン

os: Windows
python: 3.8.1
pandas: 1.1.4

Comments

[meg_]

> 600MB程度のcsvファイル
その程度であれば一度に読み込めると思いますが、何か問題があるのでしょうか？

[azzuro]

「試したこと」に加筆しました。
おっしゃる通り、もともとは一度で読み込んでみたのですが思ったような結果にならなかったという経緯があります。

[meg_]

> 当初は一度に読み込もうとしたのですが、出力後の行数がおかしかったので分割してみました。
「出力後の行数がおかしかった」とは具体的にはどういうことでしょうか？

[TakaiY]

メモリの少ないマシンとか、他に大量のプロセスが動いていて空きメモリが少ないとかでないかぎり、一度に読み込めるはずです。数GBのcsvでも実績はあります。
全部読み込んでそのままcsvに出力して差分を確認してみるのがいいのではないでしょうか。

[azzuro]

>meg_さん
行数がおかしいというほは、17万行ほどあるはずが６万行程度しか出力されないということです。

[meg_]

> 行数がおかしいというほは、17万行ほどあるはずが６万行程度しか出力されないということです。

｢もともとは一度で読み込んでみたのですが思ったような結果にならなかった｣の結果が上記ですか？そのような経験はないので不思議ですね。

ところで｢元ファイルの行数は17万行ある｣というのはどのように確認されたのでしょうか？

[azzuro]

>meg_さん
今までもpandasでcsvを読み込んだことはありますが今回初めてで困っています。
元ファイルの行数は単純にcsvをそのまま開いて確認しました。

[meg_]

> 元ファイルの行数は単純にcsvをそのまま開いて確認しました。

それはテキストエディタで開いて行数を確認した、という意味でしょうか？

[meg_]

ところでOSは何でしょうか？python、pandasのバージョンは何でしょうか？

[azzuro]

>テキストエディタで開いて行数を確認した、という意味でしょうか？
サクラで確認しました。

>バージョン
追記しました。

[TakaiY]

サクラエディタで表示されている行番号で数えているのでしょうか？
たしか、サクラエディタは行番号の振り方が、折り返しを考慮に入れる入れないの選択ができるようになっていたはず。 そのあたり問題はありませんか？

[azzuro]

>TakaiYさん
折り返しの選択については問題ありません。
アドバイスいただいた差分を取ってみたところ、出力できなかったものに特有のものがあるようには見えませんでした。
read_csvで直接pandasに読ませるのではなく、いったんcsv.readerで配列に格納してから読ませてみましたがやはり全件の出力はできませんでした。
同じ現象が起きている4MBで5000件のファイルがあるのですが、こちらは上記の方法で全件出力ができることが確認できました。

[meg_]

windows10でしょうか？
コマンドプロンプトで｢wc Account_original.csv｣を実行すると17万と表示されますか？

wcが使えない場合には｢FIND /v /c"" Account_original.csv｣でやってください。

[azzuro]

> meg_さん
windoes10です。
powershellを使いましたが17万と表示されました

[bsdfan]

改行を含む値がある場合(ダブルクォートで囲まれた中に改行があるケース)は、csvとしての行数とファイルの行数が一致しないですが、そこは大丈夫ですか？

[TakaiY]

差し支えなければ、read_csvで読んでto_csvで書き出したときのソースを提示いただけませんか？
いろいろ試してみるのはいいのですが、話の基準になる処理がないと、無駄な考察をすることになってしまいます。
また、そのときの入力したファイルの行数と、出力したファイルの行数がわかるような、コマンドラインのログもあるといいと思います。

さらに、読み込めないのか書き出せないのか確認するために、読み込んだDataFrameそのものの行数も出力すると切り分けできると思います。

[azzuro]

>みなさま
ダブルクォートのあるカラムが複数あり、read_csvのオプションにquoting=1を設定することで解決しました。
どうもありがとうございました。

Answer 1

csvの読み込みがそもそも全件で来ていないことが確認でき、ダブルクォートのあるカラムが複数あったためread_csvにエスケープするオプションquoting=1を設定しました。
結果、全件読み込めるようになり、全件出力することができました。