【pandas】スパースマトリックス型をDataFrameに変換したい

Question

標記の件で教えていただきたいことがあります。

https://teratail.com/questions/210098
上記より、テキストデータをCountVectorizerにてベクトルにする方法を教えていただきました。

変換したベクトルデータはスパースマトリックス形式です。これをdataframeに変換することを考えています。

例えば下記のようなスパースマトリックスがあったとします。
[[0 0 0 0 0 0 0 0 1 0 1 1 0]
[1 1 1 0 0 0 0 0 0 0 0 0 0]
[0 0 0 1 0 0 0 0 0 1 0 0 1]
[0 0 0 0 0 1 0 1 0 0 0 0 0]
[0 0 0 0 0 0 0 0 0 0 0 0 1]
[0 0 0 0 1 0 1 0 0 0 0 0 1]]

これを、そのままpd.DataFrameをしてしまうと、

|0|1|2|3|4|5|6|7|8|9|10|11|12|13|
|:--|:--:|--:|
|0|0|0|0|0|0|0|0|0|1|0|1|1|0|
|1|1|1|0|0|0|0|0|0|0|0|0|0|0|
|0|0|0|1|0|0|0|0|0|0|1|0|0|1|
|0|0|0|0|0|1|0|1|0|0|0|0|0|0|
|0|0|0|0|0|0|0|0|0|0|0|0|0|1|
|0|0|0|0|1|0|1|0|0|0|0|0|0|1|

上記のようなデータになります。

これを、

11100000000000
00010000001001
00000101000000
00000000000001
00001010000001

みたいなふうに連結するように変換することを考えています。

このようなことは可能でしょうか。

どうぞよろしくお願いいたします。

Answer 1

やればできますけど、連結して扱うと元の木阿弥です(連結したら文字列になるし、機械学習に入力できない)。

それはそのまま扱ってください。

Comments

[essa]

回答ありがとうございます。
そのまま使うにはどのようにすればよいのでしょうか。

データフレーム(df)のなかに
["A","B","C","D","E"]
というものがあるとします。このうち、各項目の内訳は下記だとします。
A：目的変数（カテゴリ変数）　　DataFrame
B：説明変数（カテゴリ変数）　　DataFrame
C：説明変数（カテゴリ変数）　　DataFrame
D：説明変数（カテゴリ変数）　　DataFrame
E：説明変数（文字列）　　　　　DataFrame
Eが文字列であり、BoWやTFD-IDで特徴量を出す項目だとします。

もし、Eが文字列ではなく、特徴量を出す必要がなければ
y = df["A"]
X=df["B","C","D","E"]
と定義して、
model.fit(X,y)
で学習するのだと思います。

しかし、今回はEが文字列なのでBoWやTFD-IDで特徴量を抽出し、
A：目的変数（カテゴリ変数）　DataFrame
B：説明変数（カテゴリ変数）　DataFrame
C：説明変数（カテゴリ変数）　DataFrame
D：説明変数（カテゴリ変数）　DataFrame
E：説明変数（文字列）　　　　SparseMatrix
となっています。
この状態ですと、
y = df["A"]
X=df["B","C","D","E"]
とすることができないのではないか？と思っています。

SparseMatrix形式のまま学習に使用するにはどのようにすればよいのでしょうか？

長くなりましたが、ご教示いただければと思います。
どうぞよろしくお願い致します。

[hayataka2049]

やり方はいろいろありますが、どうしてもデータフレームとして取り扱いたければconcatなどで結合する。
ただしこれは面倒臭いので、私がやるなら特徴量全体をcsr_matrixに変換するようにsklearnのPipelineを書いてしまうと思います（ColumnTransformerあたりを使って）。
不慣れならPipelineまでは使わない方が良いかもしれませんが。

Answer 2

ret = df.astype(str).apply(lambda d: d.str.cat(), axis=1)

でどうでしょうか