CSVファイルのheader行数が分からない場合

現在、サーバー上にある複数のcsvファイルにアクセスして必要なデータを取得する作業を行なっています。

発生している問題

サーバー上のurlにアクセスしてcsvファイルを読み取る際、ファイルによってheader列が微妙に異なる場合があります。
そのため、頻繁にエラーを起こして(うまくindexが読み取れずに)しまいます。

肝心なデータ部分の前には必ず、

data:
a, b, c, d, e
0, 0, 0, 0, 0

のように data:の文字が含まれているため、これを目印にしてheaderを読み取ろうとしていますが、どうもうまくいきません。

いくつか試した方法として、かなり無理矢理なのですが、

python
1import pandas as pd
2temp = pd.read_table(url, header=None)
3i = 0
4while True:
5  if temp.loc[i][0][:5]=='data:':
6    break
7  else:
8    i += 1

ここで出てきたiを使って、read_csv(url, header=i+1)とすると、カラムサイズが違う旨のエラーメッセージが出ました。これでダメだったのが一番困っています。header中にある空白行が悪さをしているのでしょうか...?

加えて、requestsモジュールを使って

python
1resp = requests.get(url)
2txt = resp.text

としてなんとかindexを見出そうとしたのですが、断念いたしました。

可能であれば、ファイルをダウンロードせずに行いたいです。
もし何かいい方法をご存知の方がいらっしゃいましたら、ご教授いただけますでしょうか。

行動規範の内容に同意します

回答2件

ベストアンサー

可能であれば、ファイルをダウンロードせずに行いたいです。

まずは一度はファイルをダウンロード（読み込み）することが必要です。
以下は、いったん文字列として読み込んでスキップする例です。

Python
1# csv : csv文字列
2def skip_df(csv):
3    # スキップすべき行数を算出
4    is_skip, skip_row = False,1
5    for line in csv.split('\n'):
6        if 'data:' in line:
7            is_skip = True
8            break
9        skip_row += 1
10
11    if not is_skip:
12        skip_row = 0
13
14    # 文字列からcsvを読み込み
15    from io import StringIO
16    return pd.read_csv(StringIO(csv),skiprows=skip_row)
17
18# ファイルから読み込む場合
19with open('inp.csv') as f:
20    s = f.read()
21
22# Webから読み込む場合
23#resp = requests.get('https://～.csv')
24#s = resp.text
25
26df = skip_df(s)
27print(df)