複数のtxtファイルから数値のみを取り出したいです．

Question

複数のtxtファイルから数値のみを自動で取り出し，一つのテキストファイルに出力したいです．（可能であればExcelファイルに出力したいです．）

例としてテキストファイルの中身は，
#初期段階
X1-1
QE:gate
2.090633E-13
のようなものになっています．
ファイル名はcoulomb_~.txtです．

#一度目の修正後
知識が浅いため，ネットを参考に自分で作ってみたプログラムが以下です．
import pandas as pd
import glob
import re

all_files = glob.glob( "*.txt")

li = []

for filename in all_files:
df = pd.read_csv(filename, header=None,delimiter=" ")
df_num = re.sub(r"\d+","",df)
li.append(df_num)

frame = pd.concat(li, axis=0, ignore_index=True)

しかしこれでは，expected string or bytes-like objectというエラーがでて不可能でした．

#二度目の修正後
回答者様のおかげですべてのファイル内に存在するデータを一つのExcelファイルにすることはできましたが，どのファイルのデータとつながっているのかわからず，整理が難しいまま残ってしまいました．
ファイル名のcoulombの後には-2~3の数値が0.1刻みに存在しているのですが，これらのファイルが小さい順でしっかり並んでくれれば問題ないのですが，数値の絶対値でファイルが並び替えられてしまうので，順番に値を取得できるようにしたいです．
import pandas as pd
import glob
import re
import os

def get_num(file):
nums = []
with open(file) as f:
for line in f:
"実際に数値に変換してみて、できたものだけ取得する"
try:
nums.append( float(line.strip()))
except ValueError:
pass
return nums

nums = []
hoge = glob.glob("*.txt")
for file in hoge: # 取得対象のtxtファイルをglobなり取得する
nums += get_num(file)

df = pd.DataFrame([nums])
df.to_excel("ret.xlsx", header=False, index=False)

#三度目の修正後
Excelでデータの入れ替えなどが行えたためこれで完了とします．

Comments

[退会済みユーザー]

やりたいことはわかりましたが、問題・課題はなんでしょうか

[Blackhoney115]

そもそもの自動システムの作成例を教えていただきたいです．

Answer 1

とりあえず以下のようなコードで数値のみを取得できます。
Excelファイルとして出力するのはPandasのto_excelが使えます。

import pandas as pd

def get_num(file):
    nums = []
    with open(file) as f:
        for line in f:
            # 実際に数値に変換してみて、できたものだけ取得する
            try:
                nums.append( float(line.strip()))
            except ValueError:
                pass
    return nums

nums = []
for file in ['coulomb_.txt']: # 取得対象のtxtファイルをglobなり取得する
    nums += get_num(file)

df = pd.DataFrame([nums])
df.to_excel('ret.xlsx', header=False, index=False)

Comments

[Blackhoney115]

サンプルありがとうございます！実際にfor文の[]の中に具体的なファイル名を入力した場合，ret.xlsxが出力されました！
実際にはファイルはcoulomb_-2からcouloumb_3まで数値が0.1刻みにあって，これらのファイルの中にある数値を一括で抽出して一つのエクセルファイルに変換したいのですが，可能でしょうか？

[Blackhoney115]

import pandas as pd
import glob
import re
import os

def get_num(file):
nums = []
with open(file) as f:
for line in f:
# 実際に数値に変換してみて、できたものだけ取得する
try:
nums.append( float(line.strip()))
except ValueError:
pass
return nums

nums = []
hoge = glob.glob("*.txt")
for file in hoge: # 取得対象のtxtファイルをglobなり取得する
nums += get_num(file)

df = pd.DataFrame([nums])
df.to_excel("ret.xlsx", header=False, index=False)

このように変更した場合は，一つのエクセルファイルにデータをすべて取ることが可能になりました！
しかし，どのファイルをどの順番でとったのかわからず整理に苦労しそうです．．．