Python SQLiteに株価データを入れたい。

前提・実現したいこと

S&P500全銘柄の日足データと出来高をSQLiteに入れたい。
そのために、各銘柄ごとのcsvデータが欲しい。

発生している問題・エラーメッセージ

辞書に株価データを入れたものの、そこからcsvデータとして取り出す方法が分かりません。
以下のコードでcsv出力した結果、一つのセルに大量のデータが入ってしまいました。
コードに根本的な問題がありそうですが、調べ方も分からず困っています。

該当のソースコード

import pandas as pd
import pandas_datareader.data as pdr
import datetime
from tqdm import tqdm

#SP500の銘柄コードを読み込み
df = pd.read_csv('stock/SP500.csv')

#期間
end = datetime.date.today()
start = end - datetime.timedelta(days=365)

stocks = {} #データ格納用dict
errors = [] #エラー用リスト

#銘柄ごと（SP500.csv中のsymbolごと）にデータ取得
for s in tqdm(df['Symbol']):
    try:
        stocks[s] = pdr.DataReader(s,"yahoo",start, end)
    except:
        error_symbols.append(s)

df = pd.json_normalize(stocks)
#その後、to_csvで出力

試したこと・できたこと

・上記のdict型データをデータフレームに変換はできなかった。(from_dict)

・一つ一つの銘柄の株価データを入手することはできます。（例えば、googlだけのデータは入手できる）

###環境
win10,python3

求めていること

上記コードの解決策、もしくは別の方法。
（一つ一つcsvに落とし込む、というのは現実的ではなく、まとめて行うか繰り返し作業させたい）

プログラミング歴

初心者のため、わからないことのほうが多いです。趣味で行っている株売買にプログラミングを導入しつつ、pythonの勉強を始めたばかりです。

can110

2021/05/06 07:18

結果としてどのようなカタチのデータフレームが作りたいのでしょうか？具体的にすべての列名および２銘柄、過去２日分程度の場合の単純な結果例を提示ください。

TakaiY

2021/05/06 08:13

「一つのセルに大量のデータが入ってしまいました」Excelで開いたときのことのようですが、単にカンマ区切りで読めていないだけではないですか？どのようなCSVデータが出たのでしょう？

行動規範の内容に同意します

回答1件

ベストアンサー

こんにちは。

書き方のノリとしては、このような感じでしょうか？

python
1import pandas as pd
2
3csvFileList = [
4    './A社.csv',
5    './B社.csv',
6]
7
8for csvFile in csvFileList:
9    df = pd.read_csv(csvFile)
10    insertData = []
11    for index, row in df.iterrows():
12        # ここでSQLiteでinsertしたい。
13        insertData.append([row[0], row[1], row[2], row[3]])
14    print(insertData)