could not convert string to float: '\ufeff400' というエラーが出てcsvファイルが読み込めません。

Question

101×101の数値データ(温度)が入ったscvファイルを読み込んで、コンター図を作りたいのですが、
could not convert string to float: '\ufeff400'
というエラーが出てしまい、図が作成できません。

解決策を教えていただきたいです。
何卒よろしくお願いいたします。

プログラムは以下の通りです。これを実行すると上記のエラーが出てきてしまいます。

p2 = np.loadtxt('sine.csv',delimiter=',') #この部分で読み込みエラーが出てしまっています。

yy,zz = [],[]
y = p2[0,:]
z = p2[:,0]
y = y[1:]
z = z[1:]

for num in range(len(z)):
yy.append(y)
for num in range(len(y)):
zz.append(z)
X = np.array(yy)
Y = np.array(zz).T

p2 = np.delete(p2,0,1)
p2 = np.delete(p2,0,0)

plt.contourf(Y,X,p2,cmap="rainbow")
plt.colorbar()
plt.show()
plt.xlim([0,100])
plt.ylim([-100,100])

Answer 1

別回答で指摘されているように、読み込むcsvはExcelで作られたものなのでしょう、BOM付きUTF-8になっているからです。
numpy.loadtxtはパラメータにencodingを指定できますので、そこに 'utf-8-sig' (BOM付きUTF-8)を指定するのもいいでしょう。

https://numpy.org/doc/stable/reference/generated/numpy.loadtxt.html#numpy-loadtxt

p2 = np.loadtxt('sine.csv',delimiter=',', encoding='utf-8-sig') 

Comments

[taiko]

回答していただきありがとうございます。一つ学ぶことができました。こちらの方法でも試してみます。

Answer 2

エンコーディングがBOM付きのUTF-8のファイルになっていると思われます。

ファイルをBOM無しのUTF-8にしましょう。
Windows標準のメモ帳で開いて「名前を付けて保存」でも変更できます。
それ以外のOSならエンコーディング変換のコマンドがあるかと思います。

Comments

[taiko]

書き出したcsvファイルをターミナルのnkfコマンドでBOM無しのUTF-8にしたらうまくできました。
ありがとうございます。

[otn]

\ufeff
というのを見たら「UnicodeのBOM」と思ってください。

[taiko]

LC_ALL=C sed -e $'1s/^\xef\xbb\xbf//' sine.csv > sine_noBOM.csv
nkfコマンドではなく、ターミナルでこちらのコードを打ってうまくいきました。
わかりました。
丁寧にありがとうございます。