Do not support special JSON characters in feature name.を解決したい

前提・実現したいこと

タイトルにあるエラーがなぜ起こっているのか、
また発生しない方法を知りたいです。
よろしくお願いします。

発生している問題・エラーメッセージ

Do not support special JSON characters in feature name.

該当のソースコード

Python
1import glob
2import pandas as pd
3import numpy as np
4import lightgbm as lgb
5from sklearn.model_selection import train_test_split
6from sklearn.metrics import confusion_matrix
7from sklearn.metrics import accuracy_score
8
9train_data = './train.tsv'
10test_data = './test.tsv'
11
12df_train = pd.read_csv(train_data, delimiter='\t')
13df_test = pd.read_csv(test_data, delimiter='\t')
14
15df_train, df_val = train_test_split(df_train, test_size=0.1)
16
17train_y = df_train['Type']
18train_x = df_train.drop('Type', axis=1)
19
20val_y = df_val['Type']
21val_x = df_val.drop('Type', axis=1)
22
23trains = lgb.Dataset(train_x, train_y)
24valids = lgb.Dataset(val_x, val_y)
25
26params = {
27    "objective": "regression",
28    "metrics": "accuracy",
29    "num_leaves": 42,
30    "max_depth": 7,
31    "feature_fraction": 0.8,
32    "subsample_freq": 1,
33    "bagging_fraction": 0.95,
34    "min_data_in_leaf": 2,
35    "learning_rate": 0.1,
36    "boosting": "gbdt",
37    "lambda_l1": 0.1,
38    "lambda_l2": 10,
39    "verbosity": -1,
40    "random_state": 42
41}
42
43model = lgb.train(params, trains, valid_sets=valids, num_boost_round=100)
44
45predict = model.predict(df_test)
46df_pred["Type"] = predict
47df_pred[["Type"]].to_csv("sample_submission.csv")

試したこと

errer文の検索
特殊文字の変更

補足情報（FW/ツールのバージョンなど）

windows 11
Python 3.8.0
TensorFlow 2.3.0

回答1件

ベストアンサー

DataFrameのcolumns名に",[]{}:のような文字が含まれているというエラーです。

'./train.tsv'と'./test.tsv'の一行目にそういう文字が入っているのでしょう。

LightGBMError: Do not support special JSON characters in feature name - The same code is working in jupyter but doesn't work in Spyderを参考にして修正してください。

投稿2022/01/18 06:16

ppaul

総合スコア24635

回答へのコメント

K2ohei

2022/01/19 02:01

df_train = df_train.rename(columns = lambda x:re.sub('[^A-Za-z0-9_]+', '', x)) df_test = df_test.rename(columns = lambda x:re.sub('[^A-Za-z0-9_]+', '', x)) を導入して上手く動かすことができました。ありがとうございます。