ValueError: dict contains fields not in fieldnames:

Question

前提・実現したいこと

スクレイピングで競馬データ収集をしたくyoutube動画を参考にコードを書きました。

発生している問題・エラーメッセージ

ValueError: dict contains fields not in fieldnames: 201902020202, 201902020203

該当のソースコード

import pandas as pd
from tqdm import tqdm
import requests
from bs4 import BeautifulSoup
import csv

def race_data(race_id_list):
    race_results = {}

    for race_id in tqdm(race_id_list):
        if race_id in race_results.keys():
            continue
        try:
            url = 'https://db.netkeiba.com/race/' + str(race_id)
            race_results[race_id] = pd.read_html(url)[0] 
            header = race_results[race_id].keys()
            
        except IndexError:
            print("indexerror")
            break
        except:
            print("except")
            break
   
    return race_results,header

race_id_list= [201902020202, 201902020203]

race_results,header = race_data(race_id_list)

print('sadad',header)
with open('C:\Python\03.deep_learning\01.data\data2019.csv', 'w')as f:

    writer = csv.DictWriter(f,header)
    
    header_row = {str(k):k for k in header}
    writer.writerow(header_row)
    print(race_results)
    writer.writerow(race_results)

    for row in race_results:
        writer.writerow(row)


```python3.0


### 試したこと

Dict型のdata_resultsのkeyを型を変更したり、delimeter値を変えたり、Dictwriter→Writerに変更したり様ざま試しましたが、エラーは消せずでした。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[x98000]

Pythonはインデントが消えると不正になってしまうので「コードの挿入」でプログラムソースを掲載し直してください。

[y_waiwai]

このままではコードが読めないので、質問を編集し、<code>ボタンを押し、出てくる’’’の枠の中にコードを貼り付けてください

[katakata]

お二方、アドバイスありがとうございます。コードが読めるよう質問投稿の仕方を編集しました。お手数ですが、エラー対処法の回答お待ちしてます。

Answer 1

出力データのイメージが不明ですが、csv.DictWriterのヘッダは['着順', '枠番', '馬番', '馬名', '性齢', '斤量', '騎手', 'タイム', '着差', '単勝', '人気', '馬体重', '調教師']ですが、データ(race_results)は201902020202, 201902020203をキーとしたDictになっています。エラーの内容はこのキーがヘッダに存在しないという意味です。
csv.DictWriterを使うなら、各データにヘッダの項目名を付けたDictを用意する必要があります。

本件の場合、データが揃っている前提なら無理にcsv.DictWriterを使わずにcsv.writerでいいのでは。
その場合、race_results辞書の値が表形式になっているので、これを取り出してからcsv.writerに渡す必要があります。
print(race_results) の結果をじっくり見てください。

追記

pd.read_html()でテーブルを取得しているので、データの中身はDataFrameですね。
であれば、ヘッダ出力も行わず、df.to_csv('ファイル名')で出力する方が手っ取り早いです。

import pandas as pd
results=pd.read_html('https://db.netkeiba.com/race/201902020202')[0]
results.to_csv('data_20190202020.csv')

Comments

[katakata]

df.to_csv('ファイル名')の方法でデータ取得できました！ありがとうございます！