質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.59%

np.loadtxtを用いたデータの読み込みについて

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 2,189

himuru

score 12

 前提・実現したいこと

実験データをPythonに読み込むためにJupyter notebookを使って作業をしていたのですが、np.loadtxtを使用してデータを読み込もうとしたところ、以下のエラーメッセージが発生しました。

データは例えば以下のような形式でtest_data.datファイルに保存してあり、上部のデータの5列分のデータのみを読み込みたいと考えています。

 x_wave_1, data_1, data_2, data_3, data_4

0 2 1 2 3
1 4 2 3 4
2 6 3 4 5
3 8 4 5 6
4 10 5 6 7
5 12 6 7 8
6 14 7 8 9
7 16 8 9 10
8 18 9 10 11
9 20 10 11 12
10 22 11 12 13

 x_wave_2, data_1, data_2, data_3, data_4, data_5

0 2 1 2 3 4
-1 4 2 3 4 5
-2 6 3 4 5 6
-3 8 4 5 6 7
-4 10 5 6 7 8
-5 12 6 7 8 9
-6 14 7 8 9 10
-7 16 8 9 10 11
-8 18 9 10 11 12
-9 20 10 11 12 13
-10 22 11 12 13 14

 発生している問題・エラーメッセージ


IndexError                                Traceback (most recent call last)
<ipython-input-76-c5863a778aaa> in <module>()
----> 1 data02_axis1, data02_value1, data02_value2, data02_value3, data02_value4 = np.loadtxt("./test_data.dat", usecols=(2, 11), unpack=True)

C:\python\lib\site-packages\numpy\lib\npyio.py in loadtxt(fname, dtype, comments, delimiter, converters, skiprows, usecols, unpack, ndmin, encoding)
1099         # converting the data
1100         X = None
-> 1101         for x in read_data(_loadtxt_chunksize):
1102             if X is None:
1103                 X = np.array(x, dtype)

C:\python\lib\site-packages\numpy\lib\npyio.py in read_data(chunk_size)
1019                 continue
1020             if usecols:
-> 1021                 vals = [vals[j] for j in usecols]
1022             if len(vals) != N:
1023                 line_num = i + skiprows + 1

C:\python\lib\site-packages\numpy\lib\npyio.py in <listcomp>(.0)
1019                 continue
1020             if usecols:
-> 1021                 vals = [vals[j] for j in usecols]
1022             if len(vals) != N:
1023                 line_num = i + skiprows + 1

IndexError: list index out of range

 該当のソースコード

python 3
data02_axis1, data02_value1, data02_value2, data02_value3, data02_value4 = np.loadtxt("./test_data.dat", usecols=(2, 11), unpack=True)

 試したこと

上部のデータが5列あるのに対して、下部のデータが6列あるために、2行目から11行目までを取り込もうと思い、usecolのオプションを用いてみましたが、エラーがでてしまいデータの取り込みができませんでした。

どなたか、どのように対応すればいいかご教授頂けないでしょうか。

よろしくお願いします。

 補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

数学及びプログラミングにおいては、横の並びを行、縦の並びを列と呼び分けています。
エラーの原因は、存在しない列番号を指定したからでしょう。

つまり、ここで使うべきはuse_colsではなくuse_rowsです。
...と言いたいところですが、numpy.loadtxtには引数use_rowsが無いのですよね。

必要な部分だけ切り出すのならば、こんなふうに書けます。

import numpy as np

with open('test_data.dat') as fin:
    data = np.loadtxt(
        fin.readlines()[:12], skiprows=1
    ).T

for row in data:
    print(row)

実行結果

[  0.   1.   2.   3.   4.   5.   6.   7.   8.   9.  10.]
[  2.   4.   6.   8.  10.  12.  14.  16.  18.  20.  22.]
[  1.   2.   3.   4.   5.   6.   7.   8.   9.  10.  11.]
[  2.   3.   4.   5.   6.   7.   8.   9.  10.  11.  12.]
[  3.   4.   5.   6.   7.   8.   9.  10.  11.  12.  13.]

そもそも論ですが、
NumPyよりPandasの方が扱いやすそうなデータにも見えます。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/12/03 10:43

    基本的なことまで教えて頂き、大変、感謝致します。

    いつものグラフソフトの癖で、行の情報毎に名前をつけたかったのでnp.loadtxtを使用しましたが、LouiS0616さんのご指摘の通り、NumpyやPandasでデータの収集を行うことができました。

    この度は迅速に対応して頂けたこと、大変、感謝致します。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.59%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る