文字列と数列の混在したデータのnumpy処理

Question

#問題点
こんにちは。
文字列と数列が並んだ以下のInputを読み込み、数列のみnumpyで取り扱うため配列化したいと考えています（コード参照）。
まず、DATA1をnp.loadtxtで読み込むと、１行目をスキップできるので、正常に処理されます。
一方、４行目にも文字列を含むDATA2では、この行でエラーが出ます。
つきましては、適切に文字列行のみを飛ばして数列をnumpy処理する方法をご教示頂けませんでしょうか。
なお、Inputファイルの形式は変更できません。
また、pandasを使うことは可能です。
よろしくお願いします。

#コード

※以下のdata＝はいずれかのみ使用

import numpy as np
data = np.loadtxt("DATA.TXT", skiprows=1)
for line in data:
swof = np.array(line)
swof[1] = swof[0]**2
print (swof)

------DATA1.TXT------------
A B C D
1.0000 1.0000 2.0000 3.0000
4.0000 5.0000 6.0000 7.0000

------DATA2.TXT------------
A B C D
1.0000 1.0000 2.0000 3.0000
4.0000 5.0000 6.0000 7.0000
E F G H
8.0000 8.0000 9.0000 10.0000
11.0000 12.0000 13.0000 14.0000

Answer 1

今、環境がなくて試せていないのですが、
ファイルから文字列の行を取り除いてから、np.genfromtxtで読み込めば良いと思います。

import re
import numpy as np

with open("DATA.TXT") as file:
    data = np.genfromtxt((line for line in file if not re.search("[A-Za-z]", line)))

Comments

[Shu0101]

ありがとうございます。Pandasを使わないスマートな方法でしたので、ベストアンサーとさせて頂きました！

Answer 2

pandasを使うと以下のようにして文字の行を除去できます。

import numpy as np
import pandas as pd

df = pd.read_csv('DATA.TXT', delimiter='\s',engine='python')

# 数値に変換。文字列はNaNに。
for c in df.columns:
    df[c] = pd.to_numeric(df[c],errors='coerce')

# NaN行を除去
df = df.dropna(axis=0, how='any')

# ndarrayへ変換
a = df.values
print(a)
"""
[[  1.   1.   2.   3.]
 [  4.   5.   6.   7.]
 [  8.   8.   9.  10.]
 [ 11.  12.  13.  14.]]
"""

Comments

[Shu0101]

ありがとうございます。pandasを使う方法として大変勉強になりました！

Answer 3

こんにちは
いろいろなやり方がありそうですが、自分ならこうするかなというのを回答します。

まず、ご質問に挙げられている python のコードで、np.loadtxt しているところの skiprows を無くして、以下のようにします。（スクリプトファイル名を仮にtest.pyとします。）

test.py

import numpy as np

data = np.loadtxt("DATA.TXT")

for line in data:
    swof = np.array(line)
    swof[1] = swof[0]**2
    print(swof)

　

上記のようにすると、 DATA.TXTはアルファベットの行を含まないものになっていなければなりませんが、それは awkコマンド を使って、以下のようにすれば出来ます。(以下で $ はシェルプロンプトです）

awk '/^[0-9]/{print}' DATA1.txt > DATA.TXT

以下は、上記を使ってDATA1.TXTおよびDATA2.TXTのそれぞれから DATA.TXTを作って確認したところです。

$ cat DATA1.TXT

A B C D
1.0000 1.0000 2.0000 3.0000
4.0000 5.0000 6.0000 7.0000

$ awk '/^[0-9]/{print}' DATA1.txt > DATA.TXT

$ cat DATA.TXT
1.0000 1.0000 2.0000 3.0000
4.0000 5.0000 6.0000 7.0000

$ cat DATA2.txt

A B C D
1.0000 1.0000 2.0000 3.0000
4.0000 5.0000 6.0000 7.0000
E F G H
8.0000 8.0000 9.0000 10.0000
11.0000 12.0000 13.0000 14.0000

$ awk '/^[0-9]/{print}' DATA2.txt > DATA.TXT

$ cat DATA.TXT
1.0000 1.0000 2.0000 3.0000
4.0000 5.0000 6.0000 7.0000
8.0000 8.0000 9.0000 10.0000
11.0000 12.0000 13.0000 14.0000

$

上記を使えば、アルファベットの行を除去した DATA.TXT を先の test.py に処理させるには、以下のようにすれば出来ます。(DATA.TXTは中間生成物なので、消してます）

$ awk '/^[0-9]/{print}' DATA1.txt > DATA.TXT; python test.py; rm -f DATA.TXT

[1. 1. 2. 3.]
[ 4. 16. 6. 7.]

$ awk '/^[0-9]/{print}' DATA2.txt > DATA.TXT; python test.py; rm -f DATA.TXT

[1. 1. 2. 3.]
[ 4. 16. 6. 7.]
[ 8. 64. 9. 10.]
[ 11. 121. 13. 14.]
$

以上、参考になれば幸いです。

Comments

[Shu0101]

ありがとうございます。シェルスクリプトはあまり詳しくないので、勉強してみます汗