Do not support special JSON characters in feature name.を解決したい

Question

前提・実現したいこと

タイトルにあるエラーがなぜ起こっているのか、
また発生しない方法を知りたいです。
よろしくお願いします。

発生している問題・エラーメッセージ

Do not support special JSON characters in feature name.

該当のソースコード

import glob
import pandas as pd
import numpy as np
import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score

train_data = './train.tsv'
test_data = './test.tsv'

df_train = pd.read_csv(train_data, delimiter='\t')
df_test = pd.read_csv(test_data, delimiter='\t')

df_train, df_val = train_test_split(df_train, test_size=0.1)

train_y = df_train['Type']
train_x = df_train.drop('Type', axis=1)

val_y = df_val['Type']
val_x = df_val.drop('Type', axis=1)

trains = lgb.Dataset(train_x, train_y)
valids = lgb.Dataset(val_x, val_y)

params = {
    "objective": "regression",
    "metrics": "accuracy",
    "num_leaves": 42,
    "max_depth": 7,
    "feature_fraction": 0.8,
    "subsample_freq": 1,
    "bagging_fraction": 0.95,
    "min_data_in_leaf": 2,
    "learning_rate": 0.1,
    "boosting": "gbdt",
    "lambda_l1": 0.1,
    "lambda_l2": 10,
    "verbosity": -1,
    "random_state": 42
}

model = lgb.train(params, trains, valid_sets=valids, num_boost_round=100)

predict = model.predict(df_test)
df_pred["Type"] = predict
df_pred[["Type"]].to_csv("sample_submission.csv")

試したこと

errer文の検索
特殊文字の変更

補足情報（FW/ツールのバージョンなど）

windows 11
Python 3.8.0
TensorFlow 2.3.0

Answer 1

DataFrameのcolumns名に",[]{}:のような文字が含まれているというエラーです。

'./train.tsv'と'./test.tsv'の一行目にそういう文字が入っているのでしょう。

LightGBMError: Do not support special JSON characters in feature name - The same code is working in jupyter but doesn't work in Spyderを参考にして修正してください。

Comments

[K2ohei]

df_train = df_train.rename(columns = lambda x:re.sub('[^A-Za-z0-9_]+', '', x))
df_test = df_test.rename(columns = lambda x:re.sub('[^A-Za-z0-9_]+', '', x))
を導入して上手く動かすことができました。
ありがとうございます。