常連

自己紹介

無向グラフ上でのクラスタリング結果をまとめる方法についてコードの書き方についてご教授いただきたいです。

**背景**
私は現在、無向グラフ上でのクラスタリングのコードを書いています。
クラスタリングは問題なくできたのですが、その出力結果が上手くまとめられないので、上手い出力方法がないかと思い質問に至りました。

**やりたいこと**
今の出力結果では、残った枝を愚直に出力しているため
x_01_
x_04_
x_14_
x_23_
となっていますが、これを[x_01_, x_04_ ,x_14_], [x_23_]
のように、クラスタごとにまとめたいです。
ソースコードの最後の #クラスタの出力 の部分だけ変更したいと考えております。

x_01_というのは、ノード0とノード1の間の枝を示しています。


**コードの説明**
x[i,j]は枝がある時1, ない時0を表す01決定変数です。

**現段階での私なりの着想**
i,jに

```Python
import pandas as pd
import numpy as np
import pulp

#問題定義
problem = pulp.LpProblem(name="Test", sense=pulp.LpMaximize)


#距離行列（一例）
cc = [
      [0, 3, 0, 0, 3],
      [0, 0, 1, -3, -1],
      [0, 0, 0, 3, 0],
      [0, 0, 0, 0, -1],
      [0, 0, 0, 0, 0]
      ]

w ={}
for i in range(len(cc)):
    for j in range(len(cc)):
        w[i,j] = cc[i][j]

#xを決定変数として定義
x = {}
for i in range(len(cc)) :
    for j in range(len(cc)):
        x[i,j] = pulp.LpVariable("x[{0}{1}]".format(i,j), 0, 1, pulp.LpInteger)




#目的関数の宣言
problem += pulp.lpSum(w[i,j] * (x[i,j] + y[i,j])  for i in range(len(cc)) for j in range(len(cc))), "TotalValue"

#制約式
for i in range(len(cc)):
    for j in range(len(cc)):
        #problem += x[i,j] <= y[i,j]
        for k in range(len(cc)):
            problem += x[i,j] + x[j,k] - x[i,k] <= 1
            problem += x[i,j] + x[i,k] - x[j,k] <= 1
            problem += x[i,k] + x[j,k] - x[i,j] <= 1


#最適解の結果
status = problem.solve()
print(pulp.LpStatus[status])

print(pulp.value(problem.objective), end="   ")



#クラスタの出力
for i in range(len(cc)):
    for j in range(len(cc)):
        if x[i,j].value() == 1 and i < j:
            print(x[i,j])

```

```
Optimal
16.0  

x_01_
x_04_
x_14_
x_23_
```

![イメージ説明](b054fcfa89625360bf086c823aa4de6d.png)
▲グラフクラスタイメージ図
出力結果とこの図のノード番号は1ずれています

無向グラフ上でのクラスタリング出力結果をまとめる方法

お世話になっております。
k-分割交差検証後に使用するモデルについて教えてください


①検証が完了した時に使用するモデルはどれなのか
---
k-分割交差検証を行い、いずれのモデルでもテストデータで十分な精度のモデルが作成できた場合、
運用時に使用するモデルはどれでしょうか。

・分割した中で一番性能の良いモデルを使う
・分割をしないで全データを学習してそのモデルを使う
どちらが良いのでしょうか。

②テストデータでの精度は良くないが、訓練データでは良い場合
---
k-分割交差検証を行った結果、以下の状況となったとします。

・テストデータでは精度が良くない
・訓練データの推論はいずれも十分な精度
・全データを学習し、学習した訓練データを推論しても十分な精度

この状況では、やはりテストデータでは要件を満たしたモデルではないため、運用時では使うべきではないでしょうか。
それとも学習をすれば(訓練データは)正しく推論できているため、全データを学習したモデルを使用しても良いと言えるのでしょうか。


【補足】学習グラフ
---

![Learning Curve](28f44e8835a5b2ade779837ebbe5d487.png)

学習過程を見ると過学習(※)はおきていないようですが、epochを増やしても精度は頭打ちです。
(※過学習は訓練誤差が収束しても汎化誤差が悪化した時のことを指すと認識しています。
このグラフの場合は汎化誤差は悪化してはいないので、過学習は起きていないと思っています。)
青線は訓練データに対するロスの値
赤線が訓練データに対する分類誤差
赤点線がテストデータに対する分類誤差
になります。

k-分割交差検証後に使用するモデルについて教えてください

### 主成分分析での第一主成分、第二主成分が何を表しているのか理解したい。
今回使用したデータをgithub上で公開しているので、
データが必要な方は、git cloneお願いします

git clone https://github.com/kouhei-github/txt_data.git

最後に質問をまとめていますので、1点でもわかる方お答え頂きたいです。
またデータから気付いた点や、自分なりに分析してみた等の意見もあればお願い致します。

### 困っていること
現在、データ解析の勉強のために、あるサイトの検索順位のアルゴリズムを解析しています。
下記にデータを示します。

**データは実際にgit cloneしてみる生データの方が、見やすいかと思います！**
**__下記のコードでdataframeにして確認してください__**
```python3
# df = pd.read_csv('analyse.txt', index_col=0)
```

　　　rank　firstpage title_len distance    crolling job_date keywords_num_job	
                                                                   job_lenth company_jobs_num
0	6	1	27	7143.010	0	720	0	1520	8
1	9	1	6	2041.890	0	384	0	571	805
...	...	...	...	...	...	...	...	...	...
24872	43	0	21	6467660.000	0	72	0	1011	13
24873	68	0	19	1743.930	1	720	0	608	13

24874 rows × 9 columns

rank: ランキングの順位
firstpage: 1が１page目に表示、0がそれ以外
title_len: タイトルの長さ
distance: 距離
crolling: クローリングかどうか
job_date: その募集をした日付
company_jobs_num: その会社が持っている他の募集
job_lenth：　募集の内容の長さ
keywords_num_job: 検索時にかけるキーワードの数

### 試したこと

**__データを正規化し、自分なりに必要なデータに絞った__**のが下記で、

	rank	　　title_len	keywords_num_job　job_lenth	　company_jobs_num
0	0.050505	0.337838	0.000	0.176375	0.000014
1	0.080808	0.054054	0.000	0.066257	0.001624
...	...	...	...	...	...
24872	0.424242	0.256757	0.000	0.117313	0.000024
24873	0.676768	0.229730	0.000	0.070550	0.000024

24784rows × 5columns

このデータを、主成分分析(PCA)をかけ,
__**第一主成分と第二主成分をplotして、firstpageで散布図を作成**__すると
![イメージ説明](23126283f5d213376cc82546c3733e75.png)
うまくわかれています。
私の解釈として、第一主成分はfirstpage(1page目になれるかどうか)を表していると考えています。
__**ここでの散布図の分かれ目の0.4とは何を表しているのでしょうか？**__

次に寄与率をみてみると、
	0
PC1	0.623347
PC2	0.231397
PC3	0.070281
PC4	0.040889
PC5	0.034086

第一主成分で、元データの60％を説明できており、第二主成分まで合わせると80%超えています。
また見やすくするために累積寄与率をグラフにすると、下記になります。
![![イメージ説明](e2b9ec508e16b68c3a6404527f4e834d.png)]

最後に「第一主成分と第二主成分における観測変数の寄与度をプロット」すると
![イメージ説明](1ac0620e3cef26a68e0ca7979fc48828.png)

このようになります。第一主成分(1page目になれるかどうか)に貢献しているのは、
job_lenth, keywords_num_job, company_jobs_num, title_len
であると私は解釈しています。

しかし、PC1の座標をを見てみると貢献していたとしても　0.0でこの分析が合っているかどうかわかりません。

最後に、質問をまとめますと

**__1, PC1(第一主成分), PC2(第二主成分)でfirstpageの散布図を示した図の、分かれ目の0.4とは何を表しているのでしょうか？__**
**__2, 皆さんの解釈で第二主成分は何を表していると思いますか？__**
**__3, この主成分分析はあっているのでしょうか？__**
**__4, 最後のグラフの数字(PC1だと-1.0~0.0)は何を示しているのでしょうか？__**

もし他に、このデータで主成分分析等行って傾向がわかった方コメントしてください。
またコードの公開をして頂けると幸いです。

pythonを用いた主成分分析（データ有り）

LightGBM + cross_validateでクロスバリデーションをしています。その際、early_stopping_roundsを設定したいので、以下のようにしています。

```python
param = {
        'boosting_type': 'gbdt',
        'objective': 'binary',
        'max_depth': -1,
        'learning_rate': 0.01,        
    }
fit_params = {
    'early_stopping_rounds': 10
}
lgb_model = lgb.LGBMClassifier(**param)

result = cross_validate(lgb_model, X, y, cv=3, fit_params=fit_params)
    
```
最後の部分を
```python

result = cross_validate(lgb_model, X, y, cv=3)
    
```
とすると問題なく学習が進むのですが、```fit_params```を設定すると、以下のように```nan```が返ってきてしまいます。
```python
Setting status of trial#0 as TrialState.FAIL because the objective function returned nan.
```
どうしてこうなるのか全く分からず困っております。どうかご教授の程よろしくお願いします。

cross_validate関数の引数fit_paramsを使いたい

### 前提・実現したいこと

前提：hoge国とfoo国全員の名前が入った名簿があり、天才の人にはフラグが立っているとします
```python
df.groupby(["国名"], as_index=False)["名前", "flag"].agg({"id": ['count'],"flag": ["count"])
```
上記コードを実行した結果（①）

|国名|人口|flag|
|:--|:--:|--:|
|hoge|100|50|
|foo|200|20|


### 実現したい形（②）

|国名|人口|flag|天才の割合|
|:--|:--:|--:|--:|
|hoge|100|50|0.5
|foo|200|20|0.1

上記の様に割合を入れたいです。かつ、①の集計をデータフレームにして、それを②にするのではなく、
一つのコードで②の形にしたいです。

### 試したこと
```python
def make_rate(population, target):
    return target / population
```
上記のような関数を作ってgroupby•aggを使用すれば行けるかと思ったのですが、引数が2つある時指定の仕方がわかりませんでした。

よろしくお願い致します。

pandas groupby　集計した結果で得られた値を使用したい

### Pythonを用いて関数を含んだ行列を表示し特異値分解したいです。

Pythonで関数(変数)を含んだ行列を記述してそれを特異値分解したいです。しかし、行列表示をする時点でエラーが出ており先に進めない状態です。

### 発生している問題・エラーメッセージ

```
AttributeError: 'Symbol' object has no attribute 'exp'

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "test.py", line 11, in <module>
    A = np.array([[0,(np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(x))],[(np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(x)),0]])
TypeError: loop of ufunc does not support argument 0 of type Symbol which has no callable exp method
```

### 該当のソースコード

```Python
import numpy as np 
import math
import scipy as sc
import sympy as sym

(x,y,z) = sym.symbols(' x y z')




A = np.array([[0,(np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(x))],[(np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(x)),0]])
print(A)



```

### 試したこと

変数xに数値を入れると動くのですが、変数のままだとやはり動きませんでした。
numpy以外にもsympyなどを用いたのですが、うまくいきませんでした。

関数を含んだ行列を表示し特異値分解したい

## 前提・実現したいこと

あるデータに対してSVM、RandomForestを用いて2値分類を行い、モデルの分類性能を評価しようとしています。
そこでパラメータチューニングを行ってから分類性能を評価しようと思っているのですが、正しい手順がわかりません。
現在実行しようとしている手順は以下になります。
####手順
学習データ数：1000
分類：2値分類
手法：SVM, RandomForest

1.データ全体を学習用(700)、評価用(300)に分割
2.学習データ全体(700)でグリッドサーチをk分割交差検証によって行う(モデルの精度評価はAUC)
3.手順2で最もAUCの高かった際のパラメータで、学習データ全体(700)を学習
4.手順3で構築したモデルで評価用データを分類し評価指標(precision, recall, f1-score, auc)を算出

上記手順で算出された評価指標値をモデルの性能として扱おうとしているのですが、このアプローチが間違っている気がしてなりません。
初歩的な質問で申し訳ないのですが、上記手順が間違いでしたらモデルの評価における一般的な手順をお教えいただけないでしょうか。


追記
懸念点1：いくつか論文では交差検証における評価指標の平均値を算出してモデルの評価を行っている
疑問点1：この場合はどこでパラメータチューニングをおこなっているのか

懸念点2：手順１の分割に結果が依存してしまう
疑問点2：手順1~4をまとめて交差検証としてしまうとネストされた交差検証となってしまい、手法の比較しかできないのではないか

モデルの性能評価においての、データの分割とチューニング・交差検証の手順

### 前提・実現したいこと
画像分類を行った時に、混同行列を用いて制度などを確認したいのですが、ヒートマップに「％表示」で出力したいのですが、いろいろ試したのですが、うまくいきません。分かる方いましたら教えていただけると助かります。


### 該当のソースコード

```ここに言語名を入力
import cnn_model
import keras
import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix
import pandas as pd
import seaborn as sns


#入力と出力を指定
im_rows=32
im_cols=32
im_color=3
in_shape=(im_rows,im_cols,im_color)
nb_classes=4

#写真データを読み込み
photos=np.load(".\dataset.npz")
x=photos["x"]
y=photos["y"]

#読み込んだデータを三次元配列に変換
x=x.reshape(-1,im_rows,im_cols,im_color)
x=x.astype("float32")/255
#ラベルデータをone-hotベクトルに直す
y=keras.utils.np_utils.to_categorical(y.astype("int32"),nb_classes)
#学習用とテスト用に分ける
x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.9)
#cnnモデルを取得
model=cnn_model.get_model(in_shape,nb_classes)

#学習を実行
hist=model.fit(x_train,y_train,
              batch_size=32,
              epochs=5,
              verbose=1,
              validation_data=(x_test,y_test))

#モデルを評価
score=model.evaluate(x_test,y_test,verbose=1)
print("正解率=",score[1],"loss=",score[0])

#学習の様子をグラフへ描写
#正解率の推移をプロット
plt.plot(hist.history["acc"])
plt.plot(hist.history["val_acc"])
plt.title("Accuracy")
plt.legend(["train","test"],loc="upper left")
plt.show()

#ロスの推移をプロット
plt.plot(hist.history["loss"])
plt.plot(hist.history["val_loss"])
plt.title("Loss")
plt.legend(["train","test"],loc="upper left")
plt.show()

model.summary()

model.save_weights(".\cnn.hdf5")
def print_cmx(y_true, y_pred):
    labels = sorted(list(set(y_true)))
    cmx_data = confusion_matrix(y_true, y_pred, labels=labels)
    labels= ["cat","dog","brid","human"]
    df_cmx = pd.DataFrame(cmx_data, index=labels, columns=labels)

    plt.figure(figsize = (10,7))
    sns.heatmap(df_cmx, annot=True)
    plt.xlabel("Predict-labels")
    plt.ylabel("True-labels")

    plt.show()

predict_classes = model.predict_classes(x_test, batch_size=32)
true_classes = np.argmax(y_test,1)
print_cmx(true_classes,predict_classes)
```

混同行列のヒートマップを％表示にしたい

機械学習による特徴量の自動生成の方法について教えていただけますでしょうか。

通常、データ分析では、仮説に基づいて複数の特徴量を（必要に応じて）組み合わせ、
どの特徴量が従属変数に影響するかを検証すると思います。
この特徴量の組み合わせを、仮説に基づいて意図的に作るのではなく、
自動で生成し、その上で各特徴量の影響度を検証することは可能でしょうか。

例えば、以下のようなオペレーションデータ（ID-POS）があり、
自社会員の離反率を低減させるための有効な施策を導き出したい場合、
「午前中のバッグ購入を増やすと○○％離反率が下がる」
「札幌の店舗で直近半年以内のポイント消費を増やすと○○％離反率が下がる」
のような形で、特徴量を自動的に組み合わせて有効な施策とその影響度を出力する
分析手法はありますでしょうか。
勾配ブースティング等でできるのか、他の方法が良いのか、あるいは、
各特徴量の閾値を予め決めてカテゴリカル変数にし、組み合わせを総当たりで
計算するしかないのか、等、ご教示いただけますと幸いです。

|ID|購買日時|購買店舗|消費ポイント|購買アイテム|購買金額|離反有無
|:--|:--:|--:|
|1|190101 10:38|東京|10|バッグ|10000|離反客
|2|190301 14:01|札幌|0|財布|8000|非離反客
|3|190714 13:00|広島|50|帽子|3000|離反客
|4|191223 21:01|福岡|100|手袋|4000|非離反客

特徴量の自動生成について

### 前提・実現したいこと

python3でプログラミングをしています．sympyモジュールをインポートしてsolve関数を使って複数の不等式の解を出力しました．出力した複数の解の共通範囲を求めて出力したいと考えています．具体的にはソースコードのSolved1変数とSolved2変数の共通範囲を求めたいです．
### 発生している問題・エラーメッセージ

不等式の解はOr型の変数です．しかしOr型の変数の値を取り出したり，書き換えたりするためのメソッドや関数が調べても全く分かりませんでした．

### 該当のソースコード

```python3
import sympy as sp
x = sp.Symbol('x')
Solved1 = sp.solve([x ** 2 + x - 6 > 0], [x])
Solved2 = sp.solve([x ** 2 + x - 12 < 0], [x])
```

### 試したこと

調べ方が悪かったのか，インターネットで検索してもいい情報が見つかりませんでした．

### 補足情報（FW/ツールのバージョンなど）
取り出したり，書き換える方法がなかったらsolve関数を使わずに一から不等式を解くプログラムを作らないといけないと考えていて少し億劫です．助言していただけると嬉しいです．よろしくお願いします．

Jupyter Notebook 6.0.1

sympyのsolve関数で求めた複数の不等式の解の共通範囲を求めたい．

### 前提・実現したいこと

df_theta_radに22行1列のデータが、df_theta_rad_Tに1行22列のデータが入っています。
これら2つのデータの差の絶対値を繰り返しでdf_thetaijに入れたいのですが、以下のエラーが発生しました。

### 発生している問題・エラーメッセージ

```
raise IndexError("single positional indexer is out-of-bounds")

IndexError: single positional indexer is out-of-bounds
```

### 該当のソースコード

python

import numpy as np
pi=np.pi
import pandas as pd

df_read_North=pd.read_csv("Uraga_GateCrossingList_20180101NS.csv",encoding="shift-jis")
df_read_South=pd.read_csv("Uraga_GateCrossingList_20180101NS.csv",encoding="shift-jis")
df_read_West=pd.read_csv("Uraga_GateCrossingList_20180101WE.csv",encoding="shift-jis")
df_read_East=pd.read_csv("Uraga_GateCrossingList_20180101WE.csv",encoding="shift-jis")

df_data_North=df_read_North[(df_read_North["i"]==0) & (df_read_North["j"]==0)]
df_data_South=df_read_South[(df_read_South["i"]==1) & (df_read_South["j"]==0)]
df_data_West=df_read_West[(df_read_West["i"]==0) & (df_read_West["j"]==0)]
df_data_East=df_read_East[(df_read_East["i"]==1) & (df_read_East["j"]==0)]

df_data_NS=pd.merge(df_data_North,df_data_South,how="outer")
df_data_WE=pd.merge(df_data_West,df_data_East,how="outer")
df_data_merge=pd.merge(df_data_NS,df_data_WE,how="outer")

df_theta=df_data_merge.groupby('Group').mean()['θ']
df_theta_rad=df_theta*(pi/180)

df_theta_rad=pd.DataFrame(data=df_theta_rad)
df_theta_rad=df_theta_rad.rename(columns={'Sec':'θ'})

df_theta_rad_T=df_theta_rad.T

a=0
b=0
LastNumber=len(df_theta_rad)

df_thetaij=pd.DataFrame()

for a in range(LastNumber):
    for b in range(LastNumber):
        df_thetaij.iloc[a,b]=np.abs(df_theta_rad.iloc[a,]-df_theta_rad_T.iloc[1,b])
        b=b+1
        if b==LastNumber:
            a=a+1

with pd.ExcelWriter('Tokyo20181.xlsx')as writer:
   df_thetaij.to_excel(writer,'θij')
```

### 試したこと

for文の中のdf_thetaij.iloc[a,b]=np.abs(df_theta_rad.iloc[a,]-df_theta_rad_T.iloc[1,b])でdf_theta_rad_T.iloc[1,b]の1をなくしてみたり、：にしたりしたのですが、その際はtoo many indexerというエラーが発生し、困っています。for文にも少し自信がないのですが、おかしな点があったら教えて頂きたいです。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

2つのデータフレームで繰り返し計算した値を別のデータフレームに入れたい

```Python

for BBB in AAA:
　　f = open("ARTICLES", "a")
    f.write(BBB)
    f.close()
```

AAAにはいっているものは配列です。AAAの中身を１行ずつ書き込みたいのですが、上記のプログラムだと最初の１文だけしか書き込めません。どのように改善すれば宜しいでしょうか？

Python  for文を用いてリストの中身を１行ずつ書き込む

re.sub()を使って、特定の文字より前（アンダースコア）と後ろ数字２桁を削除したいのですが、どのようにすれば良いでしょうか。。。

```python

import re

moji = "abcd_result99"
print(re.sub(正規表現,"",moji))

#実現したいこと
#アンダースコアとうしと数字２桁削除
abcd_result99
↓置換
result


```

python 正規表現　特定の文字より前を置換

### 前提・実現したいこと
下記の記事に従って、新しく作った仮想環境をjupyter notebookで利用しようとしました。
https://mopper27.hatenadiary.org/entry/20181102/1541171288

しかし、anaconda promptからjupyter notebookを起動しようとすると、NotImplementedErrorとエラーが発生して起動しません。このエラーにはどう対応すれば良いでしょうか。

### 発生している問題・エラーメッセージ

```
>>>jupyter notebook
[I 15:16:07.124 NotebookApp] The port 8888 is already in use, trying another port.
Traceback (most recent call last):
  File "c:\users\username\anaconda3\envs\openCV\lib\runpy.py", line 192, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "c:\users\username\anaconda3\envs\openCV\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)

             略

  File "c:\users\username\anaconda3\envs\openCV\lib\site-packages\tornado\platform\asyncio.py", line 99, in add_handler
    self.asyncio_loop.add_reader(fd, self._handle_events, fd, IOLoop.READ)
  File "c:\users\username\anaconda3\envs\openCV\lib\asyncio\events.py", line 501, in add_reader
    raise NotImplementedError
NotImplementedError
```

### 該当のソースコード

```python
python -m pip install --upgrade pip
pip install environment_kernels
jupyter notebook --generate-config
conda create -n openCV python=3.7 numpy jupyter
activate openCV
conda install pip
pip install jupyter
jupyter notebook
```


### 補足情報（FW/ツールのバージョンなど）
・環境はWindows 10 x64　です
・anacondaは　conda update -n base conda　でアップデートしました

・参考にしたhttps://mopper27.hatenadiary.org/entry/20181102/1541171288での
「5.Conda環境を読み込む設定追記」についてですが、
jupyter_notebook_config.py をメモ帳で開き、一番下の行に

＃c.NotebookApp.kernel_spec_manager_class

＃c.EnvironmentKernelSpecManager.env_dirs=['C:/Program Files/Anaconda3/envs/']
と追加しました。

NotImplementedErrorを解決したい

１つのデータセットを分け方を変えて個々にtf値・idf値を算出し、単語ごとのtf-idf値を求めたいです。
sklearnのcountvectorizerとtfidfvectorizerを用いてそれぞれでtf値とidf値を求めるコードを書きました。


```
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import TruncatedSVD
from sklearn.preprocessing import Normalizer

def tf(doc):
    vectorizer = CountVectorizer(token_pattern=u'(?u)\b\w+\b')
    tffeatures = vectorizer.fit_transform(doc)
    tfterms = vectorizer.get_feature_names()
    tf = vectorizer.fit_transform(doc)
    return tf, tffeatures, tfterms

def tfidf(alldocs):

    vectorizer = TfidfVectorizer(min_df=1, max_df=50, token_pattern=u'(?u)\b\w+\b')
    features = vectorizer.fit_transform(alldocs)
    idf = vectorizer._tfidf.idf_
    terms = vectorizer.get_feature_names()

    return idf, features, terms

def reduction(x, dim=10):

    '''
    dimensionality reduction using LSA
    '''
    lsa = TruncatedSVD()
    x = lsa.fit_transform(x)
    x = Normalizer(copy=False).fit_transform(x)

    return x

if __name__ == '__main__':
    alldocs = [' '.join(d) for d in alldocs]
#alldocsは1900件の分かち書きされた文章データの入れ子構造リストです。
    idf, features, terms = tfidf(docs_list)
    tf, tffeatures, tfterms = tf(clu0)
#clu0はalldocsの中でクラスタリングを行ったうちの1つのクラスタの単語リストです。
#300件ほどの文章を１つの文章として見立てています。
```
この語、単語ごとでtf-idf値を求める手法が分からず困っています。
また、このコードにおいてprint(tf)とすると

  (0, 2018)	1
  (1, 2680)	1
  (2, 1928)	1
  (3, 3391)	1
  (4, 867)	1
  (5, 396)	1
...

という出力になっており、tf値を求められている気がしません。
こちらの問題についてもどなたかご教授いただけると幸いです。