pandas csv 文字列変換

Question

investing.comにてダウンロードした日経平均株価の過去データ（csv形式）を
↓下記サイトを参考に文字列からdatetime型や数値などに変換したいです。
https://myfrankblog.com/how_to_get_stock_price_with_python/#i-5

しかし、エラーが出てしまい色々と調べてみましたがうまくいきません。
解決方法をご教授いただければと思います。

python初心者であり、頓珍漢な質問かと思いますが何卒よろしくお願い申し上げます。

環境
・Python 3.7.3
・pandas 1.3.5
・jupyter notebook

変換したいデータ

import pandas as pd
import datetime

df = pd.read_csv("7203 過去データ.csv")

# 日付けをdatetimeに変換
df["日付け"] = df["日付け"].apply(lambda x: datetime.datetime.strptime(x, "%Y年%m月%d日"))

def number_converter(x):
    # 不要文字を除去
    for s in [",", "M", "%"]:
        x = x.replace(s, "")
        
    return float(x)

# 数値データを　floatに変換
for col in ["終値", "始値", "高値", "安値", "出来高", "前日比%"]:
    df[col] = df[col].apply(number_converter)

エラー内容
ValueError: could not convert string to float: '-'
↑文字列を浮動小数点数に変更できませんでしたとエラーがでます。

Comments

[irognodyci]

・csvがどんなデータになっているか(列名行名含めて数行あれば〇)
・エラーの内容
このあたりがあると伝わりやすいと思います。

Answer 1

※ - だけのデータなど、数値に変換できないものは np.NaN に置換されます

import pandas as pd

pd.set_option('display.unicode.east_asian_width', True)

df = pd.read_csv("7203 過去データ.csv")
df["日付け"] = pd.to_datetime(df['日付け'], format="%Y年%m月%d日")
df.iloc[:,1:] = (
    df.iloc[:,1:].replace([",", "M", "%"], "", regex=True)
      .apply(pd.to_numeric, errors="coerce"))

print(df.to_markdown(index=False))

日付け	終値	始値	高値	安値	出来高	変化率%
2022-05-12 00:00:00	2050	2051	2113.5	2012.5	44.1	-1.54
2022-05-11 00:00:00	2082	2205.5	2210	2050.5	64.82	-4.43
2022-05-10 00:00:00	2178.5	2190	2204	2155	28.05	-2.96
2022-05-09 00:00:00	2245	2269	2282.5	2244.5	22.37	-1.36
2022-05-06 00:00:00	2276	2254	2276	2242.5	30.14	2.15
2022-05-02 00:00:00	2228	2267	2277.5	2217.5	26.63	-0.34
2022-04-28 00:00:00	2235.5	2160.5	2242.5	2152.5	33.41	3.23
2022-04-27 00:00:00	2165.5	2146	2174.5	2144	34.3	-0.67
2022-04-26 00:00:00	2180	2183.5	2198	2164	nan	-0.46
2022-04-25 00:00:00	2190	2149.5	2199.5	2145	22.52	-0.9
2022-04-22 00:00:00	2210	2220	2227.5	2200	18.87	-1.78
2022-04-21 00:00:00	2250	2238	2261.5	2236.5	21.54	-0.38
2022-04-20 00:00:00	2258.5	2220	2269	2219	42.43	3.74
2022-04-19 00:00:00	2177	2175	2186.5	2159	21.17	1.02
2022-04-18 00:00:00	2155	2145.5	2165	2127.5	15.32	-0.23
2022-04-15 00:00:00	2160	2100	2163	2100	19.52	1.34
2022-04-14 00:00:00	2131.5	2096	2131.5	2085.5	18.47	0.57
2022-04-13 00:00:00	2119.5	2108.5	2123.5	2073	26.02	2.42
2022-04-12 00:00:00	2069.5	2105	2112.5	2065.5	26.54	-1.52

Comments

[nonoakit]

ご回答いただきまして誠にありがとうございました。

Answer 2

import pandas as pd
import datetime

df = pd.read_csv("7203 過去データ.csv")

# 日付けをdatetimeに変換
df["日付け"] = df["日付け"].apply(lambda x: datetime.datetime.strptime(x, "%Y年%m月%d日"))

# def number_converter(x):
#     # 不要文字を除去
#     for s in [",", "M", "%"]:
#         x = x.replace(s, "")

#     return float(x)

# 数値データを　floatに変換
df = df.replace([",", "M", "%"],"", regex=True)
for col in ["終値", "始値", "高値", "安値", "出来高", "変化率%"]:
    df[col] = pd.to_numeric(df[col], errors='ignore')
print(df)

こんな感じでどうでしょうか。
df.replace([",", "M", "%"],"", regex=True)で",", "M", "%"を消して、
df[col] = pd.to_numeric(df[col], errors='ignore')でfloatに変換しています。
(前日比が変化率になっていたのでそこも修正してあります。)

Comments

[nonoakit]

ご回答いただきまして誠にありがとうございます。
実行してみたところ、’変化率％’がerrorkeyとして出てしまいました。