csvファイルデータをnumpy配列に変換する際に発生したValue errorの解決方法を教えて下さい。

前提・実現したいこと

Python3.6、Jupyter Notebookを使用しています。
１時間後の風速を予測するためにRNNの構築をしたいと考えています。
風速、風向、気温、現地気圧、海面気圧、相対湿度の６つを入力としているのですがこれらをcsvファイルから読み込み、numpy配列に変換するところでValue errorが発生しました。
この問題の解決方法を教えてください。

※2010-2014までの一時間ごとの各データ（それぞれのデータ数は43824個）を使用しています。

該当のソースコード

import os

data_dir = r'ファイルの場所'
fname = os.path.join(data_dir, 'ファイル名.csv')

f = open(fname)
data = f.read()
f.close()

lines = data.split('\n')
header = lines[0].split(',')
lines = lines[1:]

print(header)
print(len(lines))

→結果
['Datetime', 'Windspeed[m/s]', 'Wind_direction[deg]', 'Temperature[℃]', 'Local barometric pressure[hPa]', 'Sea level pressure[hPa]', 'Relative humidity[%]']
43825

import numpy as np

float_data = np.zeros((len(lines), len(header) - 1))
for i, line in enumerate(lines):
values = [float(x) for x in line.split(',')[1:]]
float_data[i, :] = values

→結果：エラー発生
エラーメッセージ
ValueError Traceback (most recent call last)
<ipython-input-57-84dcbecc05f4> in <module>
4 for i, line in enumerate(lines):
5 values = [float(x) for x in line.split(',')[1:]]
----> 6 float_data[i, :] = values

ValueError: cannot copy sequence with size 0 to array axis with dimension 6

行動規範の内容に同意します

回答1件

ベストアンサー

CSVファイルの各行が常に7つの項目で構成されているのであれば、提示されたコードは正しく動作します。

つまり、CSVファイルの(先頭行を除く)各行の内容のうち、先頭列のDatetimeを除く6個のデータを要素とするリストvaluesで、あらかじめ0クリアされた状態のfloat_data[i]の内容を置き換えます。

おそらく、問題はCSVファイルの中に空行が含まれていることです。ValueError: cannot copy sequence with size 0 to array axis with dimension 6は、valuesのサイズが0で、6個の要素を必要とするfloat_data[i]に(サイズが違うので)コピーできないことを示しているからです。

対策としては、forループの内容を以下のようにします。

Python
1for i, line in enumerate(lines):
2    values = [float(x) for x in line.split(',')[1:]]
3    if len(values) != len(header) - 1:
4        continue
5    float_data[i, :] = values