テキストファイルを途中から読み込んでDataframeを作成する

Question

デスクトップ上にある以下の様な分光測定データのテキストフォルダを
pandasで読み込もうと思っています。
－－－－－－－－－－－－－－－－－－－－－－－－－－－
ｻﾝﾌﾟﾙ: A
ﾌｧｲﾙ名: B
ｵﾍﾟﾚｰﾀ: C

ﾋﾟｰｸ No. ﾋﾟｰｸ (nm) 高さ (%)
1 　　　　　1000 　　90
2 　　　　　2000 　　80
3 　　　　　3000 　　70

ﾃﾞｰﾀ
nm %
0 95
100 94
200 93
・ ・
・ ・
－－－－－－－－－－－－－－－－－－－－－－－－－－－
上記のサンプル名～ピークNo.を飛ばしてデータ以下のnm、%のデータフレームを作りたいです。
ピークNo.の行は1.2.3・・・と行数がファイルごとに固定されていません。

import pandas as pd
import os

with open("text.TXT") as f:
    nSkiprow = 0

    for line in f.readlines():
        nSkiprow += 1
        if not line.startswith("ﾃﾞｰﾀ"):
            continue
        else:
            break

df = pd.read_table(f, skiprows=nSkiprow)
print(df)

できれば上記にwithopenで指定したファイルを読み込み、
後からいろいろ付け足していきたいのですが上手くいきません。
どのようにすれば上手く読み込むことができますか？
よろしくお願い致します。

Answer 1

スキップする行数がわかっていればskiprowsで最初の何行かを無視してやるのはどうでしょうか。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_table.html

---

下記のioモジュールはファイルオープンなどに適宜読み替えてください。

import io
import pandas

s = """ｻﾝﾌﾟﾙ:    A
ﾌｧｲﾙ名:    B
ｵﾍﾟﾚｰﾀ:    C

ﾋﾟｰｸ No.    ﾋﾟｰｸ (nm)    高さ (%)
1    　　　　　1000    　　90
2    　　　　　2000    　　80
3    　　　　　3000    　　70

ﾃﾞｰﾀ
nm    %
0    95
100    94
200    93"""

f = io.StringIO(s)  # ファイルオープンと思ってください

# ﾃﾞｰﾀをまでの行数をカウントする
nSkiprow = 0

for line in f.readlines():
    nSkiprow += 1
    if line.startswith("ﾃﾞｰﾀ"):
        break

# 上で求めた行数をスキップしてread_tableで読み込む
f = io.StringIO(s)
df = pandas.read_table(f, skiprows=nSkiprow)

---

StringIOを省くとこうなります。

filename = "text.TXT"

# "ﾃﾞｰﾀ"までの行数をカウント
with open(filename) as f:
    nSkiprow = 0
    for line in f.readlines():
        nSkiprow += 1
        if line.startswith("ﾃﾞｰﾀ"):
            break

# 上で求めた行数をスキップしてread_tableで読み込む
df = pandas.read_table(filename, skiprows=nSkiprow)

Comments

[sssan]

ご回答ありがとうございます。
書き忘れていたのですが、
ﾋﾟｰｸ No.の行数が測定データ毎に変わるので一概にスキップする数を指定できません…

[tachikoma]

そうすると、ﾃﾞｰﾀもしくはnmから始まる行の探し方が問題ということでしょうか。

[sssan]

仰る通りです。
nmから始まる行の探し方がわかりません。
説明不足で申し訳ございません。

[tachikoma]

そうすると、まずファイルを1行ずつ読み込んで、特定のキーワードから始まる行を見つけるまで繰り返せば良さそうですね。あとでコードを書いてみます。

[sssan]

コードまでご教授頂きありがとうございます。
実行してみたところ、以下の様なエラーが出ました。
Traceback (most recent call last):
File "test.py", line 9, in <module>
f = io.StringIO(s)
TypeError: initial_value must be str or None, not _io.TextIOWrapper

ちなみにコードは以下の通りです。
import numpy as np
import pandas as pd
import os
import sys
import io

with open("text.TXT") as s:

f = io.StringIO(s)
nSkiprow = 0

for line in f.readlines():
nSkiprow += 1
if not line.startswith("ﾃﾞｰﾀ"):
continue
else:
break

f = io.StringIO(s)
df = pandas.read_table(f, skiprows=nSkiprow)

解決方法ございますでしょうか？

[tachikoma]

with open("text.TXT") as f:
として(sをfに置き換え)
f = io.StringIO(s)
を削除してください。io.StringIOはスクリプト上でファイル読み込みをエミュレートするためだけに使ったものです。

[sssan]

早速ご回答いただきありがとうございます。
ValueError: I/O operation on closed file.
というエラーが出てしまいました。。。

[sssan]

読み込むことができました！
本当にありがとうございました。