Pythonでのデータの保存について

Question

Pythonを利用してデータ分析を行なっています。
LightGBMライブラリを利用するにあたって、読み込ませるための設定ファイルを作成する必要があり、試行錯誤しているのですがうまくできないため質問させてください。

作りたいファイル例

(i)1要素目には機械学習のためのラベル
(ii)2要素目以降にて対応するカラム番号とその特徴量を列挙
(iii)各要素間はスペースでセパレート

0 0:0.01 1:0.1 2:0.2 4:0.4
3 1:0.2 3:0.6 4:0.8
1 0:0.03 3:0.9
...

現在の自分の作成例

(1)対応するようにデータフレームを作る
('NaN'としているのは、np.nanを使うとなぜか(2)がうまくいかないため。その理由も教えてもらえたら幸)

import numpy as np
import pandas as pd

df = pd.DataFrame({'label': [0, 3, 1], 
                   '特徴量1': [0.01, 'NaN', 0.03], 
                   '特徴量2': [0.1, 0.2, 'NaN'], 
                   '特徴量3': [0.2, 'NaN', 'NaN'], 
                   '特徴量4': ['NaN', 0.6, 0.9], 
                   '特徴量5': [0.4, 0.8, 'NaN']})

df

# <result>
#   label  特徴量1  特徴量2   特徴量3  特徴量4  特徴量5
# 0     0    0.01     0.1      0.2     NaN     0.4
# 1     3     NaN     0.2      NaN     0.6     0.8
# 2     1    0.03     NaN      NaN     0.9     NaN

(2)NaNを取り除いていい感じに1カラムに収める

label = df[['label']]
tmp = df.drop(['label'], axis=1)
tmp.columns = range(tmp.shape[1])

for c_n in tmp.columns:
    tmp[c_n] = ['{0}:{1}'.format(c_n, v) if v != 'NaN' else 'NaN' for v in tmp[c_n]]
res = pd.concat([label, tmp], axis=1)


for i in range(res.shape[1]-1):
    res['label'] = ['{0} {1}'.format(v1, v2) if v2 != 'NaN' else v1 for v1, v2 in zip(res['label'], res.iloc[:, i+1])]

res[['label']]

# <result>
#                            label
# 0	0 0:0.01 1:0.1 2:0.2 4:0.4
# 1	       3 1:0.2 3:0.6 4:0.8
# 2	            1 0:0.03 3:0.9

(3)最後にpandasのto_csvを使って、index,header,sepのオプションを設定する

res2 = res[['label']]
res2.to_csv('sample.txt', sep=' ', index=False, header=False)
# 追記：ここでのsepの設定は不要

# <result>
# "0 0:0.01 1:0.1 2:0.2 4:0.4"
# "3 1:0.2 3:0.6 4:0.8"
# "1 0:0.03 3:0.9"

課題として、最終的にpandasがobject型と認識して「"」で囲ってしまうようです..
毎回sedで処理するのも面倒ですしできればPythonスクリプト内で完結させたいのですが、
どのようにすればよいか教えてもらえないでしょうか。
お願いします。

Comments

[coco_bauer]

『(2)NaNを取り除いていい感じに1カラムに収める』の”いい感じ”っていうのは、どういう意味ですか？？？

[omixin]

厳密な詳細はコードを確認いただければわかると思いますが、
(1)で用意したデータフレームを、作りたいファイルのかたちに寄せるというイメージです。
（特徴量のカラムと特徴量をコロンで対応づける、など）

[bsdfan]

> 'NaN'としているのは、np.nanを使うとなぜか(2)がうまくいかないため。

もしかして、v != np.nan みたいに比較してませんか？
比較演算子ではNaNの判定はできません。np.isnan(v) か math.isnan(v) を使います。

[omixin]

bsdfanさん
ありがとうございます！推察の通り、v!=np.nanとしていました。。
以下のようにして解決できましたが、np.nanの型がfloatである関係で、文字列型の値に対してnp.isnan()をかけた際にエラーが出てしまい、場当たり的な解決となってしまっているところは否めない感じとなりました。
変更箇所は、2つのfor文の中の三項内包表記の条件式内の部分となり、1つ目はnp.isnanを使えたものの、2つ目はnp.isnan()を使えなかった..

[code] ## (1)にてnp.nanと置き換えた後の(2)の改良↓
label = df[['label']]
tmp = df.drop(['label'], axis=1)
tmp.columns = range(tmp.shape[1])

for c_n in tmp.columns:
tmp[c_n] = ['{0}:{1}'.format(c_n, v) if not(np.isnan(v)) else np.nan for v in tmp[c_n]]
res = pd.concat([label, tmp], axis=1)

for i in range(res.shape[1]-1):
res['label'] = ['{0} {1}'.format(v1, v2) if type(v2) == str else v1 for v1, v2 in zip(res['label'], res.iloc[:, i+1])]

res[['label']]
[/code]

Answer 1

hint

pandasを使わずにファイル出力を自分で実装したらよさそうか？

Comments

[omixin]

削除しました

Answer 2

ファイルの出力部分を自分で実装することで解決した。

具体的には以下にて解決できた。
(3)の部分をこちらに変更すればOK

(3')ファイルの出力

## リストにしておく
res3 = res['label']

path = 'sample2.txt'

with open(path, mode='w') as f:
    f.write('\n'.join(res3))

# <result>
# 0 0:0.01 1:0.1 2:0.2 4:0.4
# 3 1:0.2 3:0.6 4:0.8
# 1 0:0.03 3:0.9