pandasでデータを読み込むと列がずれてしまう

Question

前提・実現したいこと

以下のようなデータ（Excelで作成しcsvファイルとして保存）を読み込みたいのですが１行目が
[-1 nan nan nan...]のようになってしまいます

読み込みたいデータ

-13,-11,-8,-9,-9,-6,-7,-6,,,,,,,,
5,0,1,-4,3,1,1,8,,,,,,,,
-4,-7,-9,-5,-9,-15,-14,-19,,,,,,,,
-11,-10,-13,-17,-14,-10,-13,-12,,,,,,,,
-8,-9,-8,-6,-8,-4,-6,-6,,,,,,,,
-4,-6,-7,-9,-14,-14,-15,-17,,,,,,,,
3,1,-3,0,-1,2,8,14,,,,,,,,
-7,-7,-9,-8,-8,0,5,7,,,,,,,,
-11,-13,-14,-11,-11,-12,-6,-1,,,,,,,,
2,6,4,8,9,3,-2,-8,,,,,,,,
	

該当のソースコード

#カラム名
col_names = ['c{0:02d}'.format(i) for i in range(13)]

#読みこみ
data_pd=pd.read_csv( 'test.csv',names=col_names,header=None,\
engine='python')

data = data_pd.as_matrix()
print(data)

Comments

[can110]

通常ExcelでCSV保存するとカンマ区切りとなるはずですが、そうなっていないようです。
test.csvをメモ帳などのテキストエディタで開いた結果を貼り付けていますか？
あるいは、区切り文字は何でしょうか（カンマ？タブ？複数の空白？）

[run1]

atomで開いていたのですが、なぜかカンマ区切りになっていませんでした。
今もう一度データを保存し直しatomで開いたらカンマ区切りになりましたが、１行目は読み込めないままでした。。

[can110]

col_names変数を定義している部分のソースコードも提示ください。
データ保存しなおしても1行目は[-1 nan～]のままでしょうか？
また、2行目以降は正常に読み込めているでしょうか？

[run1]

col_names = ['c{0:02d}'.format(i) for i in range(25)]です
先ほど試した時はそのままでした。
２行目以降は読み込めています。

[can110]

提示された結果が再現できません。
少なくともc17列目までは全行数値として読み込めます。

Answer 1

提示された現象が再現できませんが、'c19'列目が文字列(object)として認識されているので、数値列に変換することで、以下のような結果を得ることができます。
なお、行列中のnanは.fillnaで任意の数値に変換できます。

import pandas as pd

col_names = ['c{0:02d}'.format(i) for i in range(25)]
data_pd=pd.read_csv( 'test.csv',header=None,names=col_names, engine='python')

# c19列目が文字列(object)として認識されているので、数値列に変換
data_pd['c19'] = data_pd['c19'].convert_objects(convert_numeric=True)

#print(data_pd.info())
data = data_pd.as_matrix()
print(data)
"""
[[ -1.  -2.  -2.  -6.   1.  -2.  -2.  -5.  -7.  -3.  -1.   5.  -2.  -4.
   -2.  -3.   7.   0.   1.  nan  nan  nan  nan  nan  nan]
 [-10.  -8.  -7. -10. -17.  -1.  -6.  -3.  -4.  -6.  -1.  -2.  -4.   6.
   -8.  -2.  -4.  -6.  -2.  nan  nan  nan  nan  nan  nan]
 [ -3.   0.  -4.  -5.  -3.  -2.  -3.  -1.  -1.  -1.   8.  -6.  -3.  -5.
   -8.   8.   2.   1.   7.  nan  nan  nan  nan  nan  nan]
 [ -7.  -1.  -2.   3.   1.  -2.  -5.   2.   0.  -1.   0.   5.   9.  -1.
    1.  -3.   5.   4.   6.  nan  nan  nan  nan  nan  nan]
 [ -4.  -2.  -2.  -2.  -6.  -3.   0. -10.  -3.  -8.  -1.   5.   2.   0.
    6.   2.  10.  10.   1.   2.  nan  nan  nan  nan  nan]
 [ -8.  -4.   0.  -2. -13.  -6.  -6.  -3. -11.   1.  -4.   5.  -3.   2.
    2.  -4.  -3.   5.  -2.   1.  nan  nan  nan  nan  nan]
 [ -1.   0.   5.  -8.  -1.  -5. -14.  -5.  -3. -13.  -2.   9.  -7.  -4.
    1.   7.   3.   5.   3.  -6.  nan  nan  nan  nan  nan]
 [ -9.  -7.  -2.   4.   3.  -2.  -2.  -2.   3.  -8.   3.  -2.  -1.   9.
    0.  11.   6.   7.   4.   4.  nan  nan  nan  nan  nan]
 [ -4.  -4.  -7.  -3.  -3.  -5.  -4.  -7.  -3.   0.   0.   0.  -4.   1.
   -1.   6.   6.   1.   6.   8.  nan  nan  nan  nan  nan]
 [ -7.   1.  -5.  -9.  -5.   0.   1.  -5.   6.  -1.  -3.  -7.  -5.   1.
    2.   8.   4.   2.   1.  nan  nan  nan  nan  nan  nan]
 [ -2.  -7.  -6.   0.  -6.  -1.  -4.  -4.   0.  -5.  -2.  -7.  -3.   4.
   -4.   6.   7.   4.   4.  nan  nan  nan  nan  nan  nan]
 [  2.  -3.  -2.   0.  -8.  -5.  -5.  -2.  -4.  -5.   5.  -4.  -4.  -4.
   -7.   1.   6.   0.   8.  nan  nan  nan  nan  nan  nan]
 [ -2.   0.  -8.  -7.   2.   5.  -3.  -3.  -2.  -3.  -5.   4.  -4.  -7.
    6.   4.  -2.   2.  nan  nan  nan  nan  nan  nan  nan]
 [  8.   1.   3.  13.   0.  -7.  -7.   1.   4.   1.  -4.  -7.  -7.  -5.
   -7.   3.   5.   8.  nan  nan  nan  nan  nan  nan  nan]
 [ -3.   0.   0.  -1.   4.   5.   0.   4.  -1.  -3.  -3.   6.   7.   2.
    5.  15.   0.   6.   1.  nan  nan  nan  nan  nan  nan]
 [  2.   2.   2.   5.  -3.  -1.  -1.   1.  -3.  -7.   8.  -4.  -3.   4.
   -1.  -4.   0.   0.  nan  nan  nan  nan  nan  nan  nan]
 [ -2.   6.   7.   2.   6.  -2.  -2.   3.   2.  -1.  -5.  -3.  -1.  -1.
    0.   1.   4.  -2.  nan  nan  nan  nan  nan  nan  nan]
 [  5.  -2.   1.   2.   5.   4.  -2.   1.   2.   8.   2.   2.   2.   3.
    3.   2.   7.  15.  nan  nan  nan  nan  nan  nan  nan]
 [-10.   4.   0.   1.   3.  -4.   0.   4.   1.  -3.   8.  -1.   1.   0.
    0.   4.  -1.  -5.  nan  nan  nan  nan  nan  nan  nan]
 [  0.  -5.  -4.  -2.   1.   3.   5.   0.   0.   8.   5.  -6.   8.   7.
   -2.  -2.   2.   0.  nan  nan  nan  nan  nan  nan  nan]]
"""

Comments

[run1]

先ほどもう一度、このページから読み込みデータをAtomにコピペしてプログラムを回して見たところ上手く読み込めました。他のファイルで試して見ても出来ました。
原因がいまいち分からないのですが、元データがエクセルなのでそれを保存するときにそのままcsvファイルとして保存していましたが、一度コピペして保存し直すと読み込めるようになるみたいです…。

[run1]

すみません。先ほどとは違う問題が生じてしまったのでお伺いしたいのですが、今度は読み込むと３列目までが上手く読み込めず４列目から読み込むようになってしまったのですが、なぜなのでしょうか…。

Answer 2

以下のような形ではどうでしょうか。
header=Noneはなくても問題ないと思います。

import pandas as pd


col_names =['1','2','3','4','5','6','7','8','9','10','11',
            '12','13','14','15','16','17','18','19','20']
data_pd=pd.read_csv( 'test.csv',names=col_names)

data = data_pd.as_matrix()
print(data)

[[-1 -2 -2 -6 1 -2 -2 -5 -7 -3 -1 5 -2 -4 -2 -3 7 0 1.0 nan]
 [-10 -8 -7 -10 -17 -1 -6 -3 -4 -6 -1 -2 -4 6 -8 -2 -4 -6 -2.0 nan]
 [-3 0 -4 -5 -3 -2 -3 -1 -1 -1 8 -6 -3 -5 -8 8 2 1 7.0 nan]
 [-7 -1 -2 3 1 -2 -5 2 0 -1 0 5 9 -1 1 -3 5 4 6.0 nan]
 [-4 -2 -2 -2 -6 -3 0 -10 -3 -8 -1 5 2 0 6 2 10 10 1.0 '2']
 [-8 -4 0 -2 -13 -6 -6 -3 -11 1 -4 5 -3 2 2 -4 -3 5 -2.0 '1']
 [-1 0 5 -8 -1 -5 -14 -5 -3 -13 -2 9 -7 -4 1 7 3 5 3.0 '-6']
 [-9 -7 -2 4 3 -2 -2 -2 3 -8 3 -2 -1 9 0 11 6 7 4.0 '4']
 [-4 -4 -7 -3 -3 -5 -4 -7 -3 0 0 0 -4 1 -1 6 6 1 6.0 '8']
 [-7 1 -5 -9 -5 0 1 -5 6 -1 -3 -7 -5 1 2 8 4 2 1.0 nan]
 [-2 -7 -6 0 -6 -1 -4 -4 0 -5 -2 -7 -3 4 -4 6 7 4 4.0 nan]
 [2 -3 -2 0 -8 -5 -5 -2 -4 -5 5 -4 -4 -4 -7 1 6 0 8.0 nan]
 [-2 0 -8 -7 2 5 -3 -3 -2 -3 -5 4 -4 -7 6 4 -2 2 nan nan]
 [8 1 3 13 0 -7 -7 1 4 1 -4 -7 -7 -5 -7 3 5 8 nan nan]
 [-3 0 0 -1 4 5 0 4 -1 -3 -3 6 7 2 5 15 0 6 1.0 nan]
 [2 2 2 5 -3 -1 -1 1 -3 -7 8 -4 -3 4 -1 -4 0 0 nan nan]
 [-2 6 7 2 6 -2 -2 3 2 -1 -5 -3 -1 -1 0 1 4 -2 nan nan]
 [5 -2 1 2 5 4 -2 1 2 8 2 2 2 3 3 2 7 15 nan nan]
 [-10 4 0 1 3 -4 0 4 1 -3 8 -1 1 0 0 4 -1 -5 nan nan]
 [0 -5 -4 -2 1 3 5 0 0 8 5 -6 8 7 -2 -2 2 0 nan '    ']]