Linux のwcコマンドをmac OS Catalinaで使い、csvファイルの行数をカウントしたい。

Question

Linux のwcコマンドをmac OS Catalinaで使いたいのですが、うまくいきません。

csvファイルの行数をカウントしたく、次のようにwcコマンドを使用しカウントを試みているのですが、次のようなエラーになりうまくいきません。
良い方法があればご教示いただければ幸いです。

 import subprocess  
     line_count = int(subprocess.check_output(['wc', '-l', 'test.csv']).decode().sp
     lit(' ')[0])

＜エラー内容＞
ValueError: invalid literal for int() with base 10: ''

Comments

[quickquip]

wc -l test.csv を実行した結果を自分で確認していますか?
他の人にやってもらったなどで確認できていないということですか?

[taboopython]

はい。実行した結果が本文に記載した内容になります。
ValueError: invalid literal for int() with base 10: ''

[tiitoi]

CSV の行数を得たい場合は Python だけでもできますが、wcコマンドを使って行数を取得することは必須でしょうか？

[taboopython]

ありがとうございます。処理速度が速いと伺い、wcを試している次第です。

[taboopython]

ちなみに、for とenumerateは実証済みです。ありがとうございました。wcもうまく行きました。for文を使うよりも行数が短くなることで、大量処理には向いている、と理解しています。もし他にも、高速処理できそうな方法があればご教示いただければ幸いです。

Answer 1

MacOSを使っているならHomebrewを導入する手もあります。
HomebrewでインストールしたwcコマンドはGNU版なので、
Linux版wcと同じ動作をするかもしれません。

Homebrew版のwc

$ wc --version
wc (GNU coreutils) 8.31
Copyright (C) 2019 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <https://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

RaspberryPiのwc

$ wc --version
wc (GNU coreutils) 8.31
Copyright (C) 2019 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <https://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Comments

[taboopython]

ありがとうございます！wc --version　をすると-bash: wc: コマンドが見つかりません。となり、実行できないので、別の方法を考えてみます。

[taboopython]

ありがとうございます。Homebrewでインストールした記憶はなかったのですが、デフォルトで導入していたのか、うまくいきました。

Answer 2

macOSにもwcコマンドはありますが、wcを実行した際の出力結果がlinuxのwcとは異なっており、出力結果の先頭にスペースが含まれてしまうようです。

# Linux (Ubuntu)
$ wc -l hello.txt
11 hello.txt

# macOS
$ wc -l hello.txt
      11 hello.txt

そのため、 split(' ')[0] が数字ではなく空文字となり、 int() で整数にキャストする際にエラーが発生しているようです。

wcの実行結果から先頭の空白文字を除去した後 split(' ') を実行することで期待の結果が得られると思われます。

Comments

[taboopython]

ありがとうございます。症状は理解しました。が、今度はwcの実行結果から先頭の空白文字を除去する方法がわからず、lstripを使うのかとは思うのですが、
次の文のどこに記述すれば良いか（もしくは他の良い方法）、お分かりになればご教示いただければ幸いです。
import subprocess
line_count = int(subprocess.check_output(['wc', '-l', 'test.csv']).decode().split(' ')[0])

[Y.H.]

>どこに記述すれば
splitの直前でいいんじゃないでしょうか。

[taboopython]

ありがとうございます！うまくいきました！