python3でのcsvデータの取り込み方法

Question

別のソフトで出力されたcsvファイル(Unicode)の数値データのみをリストに格納したいのですが、
どのようにプログラムを組めばよいか教えて下さい。
データは下記のようなものです。数値のデータの間はタブとスペースで区切られているようです。
これらのX座標、Y座標をそれぞれリストとして格納できればと考えております。

X 座標 Y 座標
-2.605988E+00 5.895555E-07
-2.595808E+00 5.896124E-07
-2.585628E+00 5.897834E-07

Comments

[tachikoma]

pandasはもう検討しました？

[Opt]

pandasも含めてネットにあったコードで試してみましたがうまくいきませんでした。

[tachikoma]

まぎちゃんのコードでうまくいかなかったら、問題点を追記してもらえると嬉しいです。

Answer 1

pandas を使って読み込むとよいのではないでしょうか

import pandas as pd

df = pd.read_csv('data.csv', sep='\s+')
x = df.iloc[:,0].values.tolist()
y = df.iloc[:,1].values.tolist()

Comments

[Opt]

エラーとなってしまい上手くいかないようです。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

[magichan]

(1). encoding オプション付ける
df = pd.read_csv('data.csv', sep='\s+', encoding='utf8')
(2). ヘッダ行（1行目）を読み込まないようにする
df = pd.read_csv('data.csv', sep='\s+', skiprows=[0], header=None)
のどちらかでどうでしょうかね？

[Opt]

共に上手くいかないようです。。
(1)の場合
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
(2)の場合
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 5

[Opt]

試しに
df = pd.read_csv(file, sep='\s+', engine="python")
としてみたところ、エラーはなくなりましたが、下記のような出力となってしまいました。
print(x)→['\x00', '\x00', '\x00', '\x00', '\x00', '\x00']
print(y)→[[None, '\x00-\x002\x00.\x006\x000\x005\x009\x008\x008\x00E\x00+\x000\x000\x00',

[magichan]

(1)のencodingの値を 'utf8-sig' または 'utf-8-sig' にしたらどうなりますか？

[Opt]

共に下記エラーとなっています。
ValueError: the 'c' engine does not support regex separators (separators > 1 char and different from '\s+' are interpreted as regex)

[magichan]

であれば　更に引数に　engine='python' を追加してください

[Opt]

df = pd.read_csv(file, sep='\s+', engine='python',encoding= 'utf8-sig')
のように記述しましたが、下記エラーとなってしまいました。
LookupError: unknown encoding: utf8-sig
'utf-8-sig' の場合は先ほどと同じエラーとなってしまいます。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

[magichan]

スミマセン　utf-8-sig の方が正解ですね。

[Opt]

正解というのはどういうことでしょうか？

[magichan]

ん？
もしかしてですが、文字コードは utf-8　じゃなくて utf-16 だったりしませんかね？
であれば encoding='utf-16' でどうでしょう

[magichan]

えっ。BigEndianなの？
だったら、utf-16be　となります。
とりあえず
https://docs.python.org/3/library/codecs.html#standard-encodings
見て、合うやつを記述してください

Answer 2

元の出力ファイル形式を変更することで解決いたしました。
ご回答いただきありがとうございました。

Answer 3

解決済みだったらすみません。
まぎちゃんとのやり取り見てての質問なのですが、下記のコードは通りますか？

with open("data.csv", encoding="utf8") as file:
    for line in file.readlines():
        print(line.rstrip())

Comments

[Opt]

下記エラーとなってしまいます。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

[tachikoma]

文字コードをutf-16にするとどうですか？
https://stackoverflow.com/a/42340744/8499046

[Opt]

utf-16に変更してみました（表記UTF-16BE）。
が、上記と同様のエラーで上手くいきません。