np.loadtxtを用いたデータの読み込みについて

Question

前提・実現したいこと

実験データをPythonに読み込むためにJupyter notebookを使って作業をしていたのですが、np.loadtxtを使用してデータを読み込もうとしたところ、以下のエラーメッセージが発生しました。

データは例えば以下のような形式でtest_data.datファイルに保存してあり、上部のデータの5列分のデータのみを読み込みたいと考えています。

x_wave_1, data_1, data_2, data_3, data_4

0 2 1 2 3
1 4 2 3 4
2 6 3 4 5
3 8 4 5 6
4 10 5 6 7
5 12 6 7 8
6 14 7 8 9
7 16 8 9 10
8 18 9 10 11
9 20 10 11 12
10 22 11 12 13

x_wave_2, data_1, data_2, data_3, data_4, data_5

0 2 1 2 3 4
-1 4 2 3 4 5
-2 6 3 4 5 6
-3 8 4 5 6 7
-4 10 5 6 7 8
-5 12 6 7 8 9
-6 14 7 8 9 10
-7 16 8 9 10 11
-8 18 9 10 11 12
-9 20 10 11 12 13
-10 22 11 12 13 14

発生している問題・エラーメッセージ

---

IndexError Traceback (most recent call last)
<ipython-input-76-c5863a778aaa> in <module>()
----> 1 data02_axis1, data02_value1, data02_value2, data02_value3, data02_value4 = np.loadtxt("./test_data.dat", usecols=(2, 11), unpack=True)

C:\python\lib\site-packages\numpy\lib\npyio.py in loadtxt(fname, dtype, comments, delimiter, converters, skiprows, usecols, unpack, ndmin, encoding)
1099 # converting the data
1100 X = None
-> 1101 for x in read_data(_loadtxt_chunksize):
1102 if X is None:
1103 X = np.array(x, dtype)

C:\python\lib\site-packages\numpy\lib\npyio.py in read_data(chunk_size)
1019 continue
1020 if usecols:
-> 1021 vals = [vals[j] for j in usecols]
1022 if len(vals) != N:
1023 line_num = i + skiprows + 1

C:\python\lib\site-packages\numpy\lib\npyio.py in <listcomp>(.0)
1019 continue
1020 if usecols:
-> 1021 vals = [vals[j] for j in usecols]
1022 if len(vals) != N:
1023 line_num = i + skiprows + 1

IndexError: list index out of range

該当のソースコード

python 3
data02_axis1, data02_value1, data02_value2, data02_value3, data02_value4 = np.loadtxt("./test_data.dat", usecols=(2, 11), unpack=True)

試したこと

上部のデータが5列あるのに対して、下部のデータが6列あるために、2行目から11行目までを取り込もうと思い、usecolのオプションを用いてみましたが、エラーがでてしまいデータの取り込みができませんでした。

どなたか、どのように対応すればいいかご教授頂けないでしょうか。

よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

数学及びプログラミングにおいては、横の並びを行、縦の並びを列と呼び分けています。
エラーの原因は、存在しない列番号を指定したからでしょう。

つまり、ここで使うべきはuse_colsではなくuse_rowsです。
...と言いたいところですが、numpy.loadtxtには引数use_rowsが無いのですよね。

必要な部分だけ切り出すのならば、こんなふうに書けます。

import numpy as np

with open('test_data.dat') as fin:
    data = np.loadtxt(
        fin.readlines()[:12], skiprows=1
    ).T

for row in data:
    print(row)

実行結果

[  0.   1.   2.   3.   4.   5.   6.   7.   8.   9.  10.]
[  2.   4.   6.   8.  10.  12.  14.  16.  18.  20.  22.]
[  1.   2.   3.   4.   5.   6.   7.   8.   9.  10.  11.]
[  2.   3.   4.   5.   6.   7.   8.   9.  10.  11.  12.]
[  3.   4.   5.   6.   7.   8.   9.  10.  11.  12.  13.]

そもそも論ですが、
NumPyよりPandasの方が扱いやすそうなデータにも見えます。

Comments

[himuru]

基本的なことまで教えて頂き、大変、感謝致します。

いつものグラフソフトの癖で、行の情報毎に名前をつけたかったのでnp.loadtxtを使用しましたが、LouiS0616さんのご指摘の通り、NumpyやPandasでデータの収集を行うことができました。

この度は迅速に対応して頂けたこと、大変、感謝致します。