csvの空白の欄を欠損値nanを入れて読み込みたい

Question

csvデータをnumpyのloadtxtを使っていつも読み込んでいるのですが、今回使用しているファイルが添付の写真のように空白になっている部分が多く、エラーが発生してしまっています。

import numpy as np
import matplotlib.pyplot as plt
number=np.loadtxt('data.csv',skiprows=3,delimiter=',')

ValueError: could not convert string to float: ''

どのようにすれば空白のセルをnanにするなどをして全体を読み込むことができるか教えていただきたいです。
テキストで読み込んで確認しましたが、csvの,,間にはスペースなどは入っていませんでした。

Answer 1

numpy.genfromtxt を使ってみてはどうでしょうか。

import numpy as np
import io

csv_data = '''
#
#
#
,,,,,1,2,3
,,,,,4,5,6
'''

#
number = np.genfromtxt(io.StringIO(csv_data), skip_header=3, delimiter=',')
print(number)

#
[[nan nan nan nan nan  1.  2.  3.]
 [nan nan nan nan nan  4.  5.  6.]]

Comments

[napo5221]

欠損したデータにはgenfromtxtが向いているのですね。ありがとうございます。
csvデータを自分のものに置き換えてやったのですが、空のリストがでできてしまったのですが、どこを間違えているのでしょうか。
csv_data='/home/data.csv'
number = np.genfromtxt(io.StringIO(csv_data), skip_header=3, delimiter=',')
print(number)
実行結果
[]
<ipython-input-30-9b51647fc67e>:2: UserWarning: genfromtxt: Empty input file: "<_io.StringIO object at 0x7fdc7966b4c0>"
number = np.genfromtxt(io.StringIO(csv_data), skip_header=3, delimiter=',')

[melian]

はい、そこは
number = np.genfromtxt(csv_data, skip_header=3, delimiter=',')
としてみて下さい(ファイル名を指定する場合は io.StringIO は不要になります)。

[napo5221]

読み込めました！
わかりやすく教えていただきありがとうございました。