特殊な指数表記を含むcsvファイルの読み込み

Question

実現したいこと

特殊な指数表記を含むcsvファイルをNumpy loadtxtで読込みたい

前提

当方が扱っている解析系プログラムのインプットファイルでは、節点座標値が指数表記の場合以下の右側のように記載するルールとなっています。
2.342E-12 → 2.342-12
なお、インプットファイルには指数と小数点表記が混在しています。

発生している問題・エラーメッセージ

インプットファイルの節点座標値をcsv形式に変換し、Numpyライブラリのloadtxtで配列Nodeに読み込ませたいのですが、上記指数表記が邪魔をしているようで成功しません。

ValueError: could not convert string '2.342-12' to float64 at row 226, column 3.

該当のソースコード

import numpy as np
Node = np.loadtxt('test.csv',dtype='float',delimiter=',',encoding="utf-8_sig")

試したこと

補足情報（FW/ツールのバージョンなど）

Python3, Numpyを使っています。
ご教示いただけますと幸いです。宜しくお願い致します。

Answer 1

test.csv

2.342-12,123.456+6

import re
import numpy as np

Node = np.loadtxt('test.csv',dtype='float',delimiter=',',encoding="utf-8_sig",
                  converters=lambda i: re.sub(r'(?<=\d)([+-])', r'E\1', i))

print(Node)

# [2.34200e-12 1.23456e+08]

Comments

[daily_999]

ご回答ありがとうございます。参考にさせていただきます。

[daily_999]

(?<=\d)
この正規表現について、いろいろ検索したのですが<=がわからず、お手数ですがご教示いただけないでしょうか。

[melian]

はい、肯定後読み(positive lookbehind)という正規表現です。以下の記事をご参照ください。

https://www.javadrive.jp/python/regex/index16.html#section4

[daily_999]

ありがとうございました。よく理解できました。

Answer 2

test.csvを読んで、普通の表記にして、別ファイルに書き込むという前処理をすれば良いかと思います。
お書きのことだけであれば、単に-をE-に置換する。

-12-3のような数値もあるなら正規表現で。

Comments

[daily_999]

ご回答ありがとうございます。参考にさせていただきます。

Answer 3

まずはstrで読込んで、各要素に対して正規表現でEを付加してfloatに変換すればよいかと思います。

import numpy as np
from io import StringIO
import re

def conv(v):
    v = re.sub(r'(\d)-(\d)', r'\1E-\2', v)
    return float(v)
f = np.vectorize(conv)

Node = np.loadtxt(StringIO('1,1.2,-1,2.342-12,2'), dtype=str, delimiter=',')
Node = f(Node)
print(Node) # [ 1.000e+00  1.200e+00 -1.000e+00  2.342e-12  2.000e+00]

Comments

[daily_999]

ご回答ありがとうございます。参考にさせていただきます。