常連

### 前提・実現したいこと

エクセルにおいて、2つのデータの一致率を出したいです。

### 発生している問題・エラーメッセージ

エクセルで2つのデータがあります。

データ1
商品　　実績
A　　　　2
C　　　　3
E　　　　1
D　　　　5

データ2
商品　　実績
A　　　　3
B　　　　4
C　　　　3
D　　　　4
F　　　　2

この2つのデータにおける、商品出現の一致率かつ商品実績の一致率を
出したいと考えています。

### 該当のソースコード



### 試したこと

SUMPRODUCT関数を使うと商品出現の一致率は出せそうですが、かつ実績の一致率は
出せないようでした。

### 補足情報（FW/ツールのバージョンなど）

エクセルで2つのデータの一致率を求めたい

以下のコードを実行して特定の列を抜粋しようとしたところ、エラーが発生しました。
解決への方法ご教示いただきたいです。
実行できなかったため一度一つ目のbig_sizeの部分だけ出力して試そうとしているところです。

```
import csv 
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv("/Users/uematsuyuuki/Desktop/kousaten_001_houkou.csv",encoding="cp932")

print(df.loc[:,['上り大型乗用','上り大型貨物']])

def big_size():
    big_vehicle = []
    big_vehicle.append(df.loc[:,['上り大型乗用','上り大型貨物']])
    return big_vehicle

def middle_size():
    middle_vehicle = []
    middle_vehicle.append(df.loc["上り普通乗用","上り普通貨物"])
    return middle_vehicle

def small_size():
    small_vehicle = []
    small_vehicle.append(df.loc["上り四輪計","上り二輪車"])
    return small_vehicle

big_size()
middle_size()
small_size()
```

#現在の状況
print関数を使ってcsvの内容を見てみた結果→
![![イメージ説明](4cc16c7749cc82fd994818922a05dede.png)](2123b4f4dc5715e5dbf16cdff4d1605f.png)
この通り列と行がバラバラな状態になってしまっています。
自分が思うにこれが原因で正確な列を認識することができず、列からデータが取り出せないと出力しているのかなと思っています。ですがこれが原因の場合どのような手を打てば良いかわかりません。。。。。

KeyError: "None of [Index(['上り大型乗用', '上り大型貨物'], dtype='object')] are in the [columns]"

以下のような2つのデータフレームが与えられたとします。

### items

|item_id|item_category_id|
|-------|----------------|
| 1 | 51 |
| 2 | 11 |
| 3 | 42 |

### transactions

|id|item_id|item_num|
|-------|----------------|
| 1 | 3 | 10 |
| 2 | 2 | 9 |
| 3 | 2 | 22 |

ここで　transactions に item_category_id の列を新設したいです。
つまりitem_idの列に対応するitem_category_idを調べながら、列に追加していきたいです。

|id|item_id|item_num| item_category_id |
|-------|----------------|-------------|
| 1 | 3 | 10 | 42 |
| 2 | 2 | 9 | 11 |
| 3 | 2 | 22 | 11|

**これを実現する最もスマートな方法は何でしょうか？**

以下は私が試したコードですが、異様に計算時間がかかる上、エラーが出ました。

＊＊追記＊＊＊
エラーが起こったのは、DataFrameのindexが異なっているからだったようです。
一度右辺をリストにした後、pd.Seriesにし、さらにpd.concatでDataFrameを結合することで一応、目的は達成しました。

しかしながら、結構時間がかかるので、より良い方法があるのではないかと考えております。
またint()などとしているあたりも鈍重に感じます。

```python
transactions['item_category_id'] =
    [ int(items[items['item_id']==ID]['item_category_id']) for ID in transactions['item_id'].tolist() ]
```

よろしくお願い致します。

Pandasで他のdfを参照しながら新しい列を作る方法

scikit-learnのLabelEncoderに関する質問です。

####実行内容・疑問点

まず以下のようにしてLabelEncodingを行いました。（ jupiter notebookを用いています。）

``` python
from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["yama"]) )
#出力結果=>[3]

le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["yama"]))
#出力結果=>[3]
```

ここで、１度目の出力の後、もう一度

```
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
```

として、LabelEncoder()を定義し直し、再びfit()を行なっている訳ですが、le.transform(["yama"])の出力結果が１度目と等しくなります。

次に、

```python
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["tokyo"]))
#出力結果=>[1]

le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["tokyo"]))
#出力結果=>[1]
```

を行いましたが、やはりle.transform(["tokyo"])の出力結果が等しくなりました。

ここで、ラベル名が等しければ、LabelEncoder()を定義し直し、再度fit()を行なっても、出力結果が必ず等しくなるのかな？と思ったのです。

しかし、以下のコードを実行したところ、

```python
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto","mori"])
print(le.transform(["tokyo"])) 
#出力結果=>[2]
```

le.transform(["tokyo"])の出力が、[1]ではなく[2]になりました。
変更点は、fit()に用いるラベルを１つ追加したことです。

さらに、以下も実行しました。

```python
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto","mori","mori","mori","mori"])
print(le.transform(["tokyo"])) 
#出力結果=>[2]
```

今度は１つ前の出力結果と等しくなります。一体どういう仕組みでラベルの数値化が行われているのか、とても気になっています。

####質問
LabelEncoderを用いた際、ラベル名を数値に変換する際にどういったルールがあるのか、詳しい方がいたら教えていただきたいです。

scikit-learnのLabelEncoderの仕組みについて

### 前提・実現したいこと

matplotlibを使ってグラフを書いていますが、plotを実行する順によってイメージが大きく変わってしまい困っています。下の図のようにplotを２回呼び出した場合あとで呼び出したもののほうが強く表示されるためデータが偏って見えてしまいます。何か対策はあるでしょうか？


### 該当のソースコード

```python
import matplotlib.pyplot as plt
plt.style.use('ggplot')
A=np.random.random((100,2))
# 順番１
plt.figure()
plt.scatter(A[:50,0],A[:50,1],alpha=0.5)
plt.scatter(A[:,0],A[:,1],alpha=0.5)
plt.show()

# 順番２（反転）
plt.figure()
plt.scatter(A[:,0],A[:,1],alpha=0.5)
plt.scatter(A[:50,0],A[:50,1],alpha=0.5)
plt.show()
```
[画像が分かりづらかったので削除(下に修正後の画像を追加)]

### 試したこと
[追記]
自分で試したところ、プロットする点を小さくすれば良いとわかったので、修正後のコードを載せておきます

```python
import matplotlib.pyplot as plt
import random
plt.style.use('ggplot')
sample_size=1000
A=np.random.random((sample_size,2))
B=np.random.random((sample_size,2))
# 順番１
plt.figure(figsize=(2,2))
plt.scatter(A[:,0],A[:,1],alpha=0.5,c='red')
plt.scatter(B[:,0],B[:,1],alpha=0.5,c='blue')
plt.title('fig.1')
plt.show()

# 順番２（反転）
plt.figure(figsize=(2,2))
plt.scatter(A[:,0],A[:,1],alpha=0.5,c='blue')
plt.scatter(B[:,0],B[:,1],alpha=0.5,c='red')
plt.title('fig.2')
plt.show()

# 対策１
# サンプル数を減らす
# めんどくさい
plt.figure(figsize=(2,2))

for i in range(2):
    indices=random.sample(range(sample_size),int(sample_size/10))
A_part=A[indices]
B_part=B[indices]
plt.scatter(A_part[:,0],A_part[:,1],alpha=0.5,c='red')
plt.scatter(B_part[:,0],B_part[:,1],alpha=0.5,c='blue')
plt.title('fig.3')
plt.show()

# 対策２交互にプロットする
# 時間がかかりすぎる
plt.figure(figsize=(2,2))
for i in range(sample_size):
#for i in range(int(sample_size/100)):
    plt.scatter(A[i,0],A[i,1],alpha=0.5,c='blue')
    plt.scatter(B[i,0],B[i,1],alpha=0.5,c='red')
plt.title('fig.4')
plt.show()

# 対策3 図を大きくする、点を小さくする
plt.figure(figsize=(4,4))
plt.scatter(A[:,0],A[:,1],alpha=0.5,c='blue',s=5)
plt.scatter(B[:,0],B[:,1],alpha=0.5,c='red',s=5)
plt.title('fig.5')
plt.show()
```
![イメージ説明](a9844f3b4b1226194b7cae728b41729c.png)
![イメージ説明](d6a1d73f041c52d90901b828c4281a8b.png)
![イメージ説明](d4eca2e6171d7a3f49905cf6af03bc07.png)
![イメージ説明](49adf38ea333932a8cc579aaf971e9b6.png)
![イメージ説明](d9f7394440124eda5d20f4a9ea52869b.png)


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

matplotlibで複数のグラフを重ねて表示させる場合に実行順序による違いをなくしたい（データの偏りがあるならば見えるようにし、ないならばないようにしたい）

こういった時系列データがあったとして、これを年、月、日、時、分、秒というカラムに分割したいです。

df
0         2016-01-01 00:00:00
1         2016-01-01 00:00:00
2         2016-01-01 00:00:00
3         2016-01-01 00:00:00
4         2016-01-01 00:00:00
...                       ...
20216095  2016-12-31 23:00:00
20216096  2016-12-31 23:00:00
20216097  2016-12-31 23:00:00
20216098  2016-12-31 23:00:00
20216099  2016-12-31 23:00:00

pandasにはpd.to_datetimeというメソッドがあり、これで文字列をdatetime objectにするところまではできたのですが、

df_time = pd.to_datetime(df)
df_time.year()として年のカラムを抽出しようとしたら
 'Series' object has no attribute 'year'というエラーがでて、抽出できませんでした。
どのようにしたら分割できるのでしょうか。

Pandas Dataframeの時系列データの扱い

オブジェクト指向言語を本格的に勉強しようと思うのですが、できれば機械学習や統計解析、データマイニングに応用できればと思っております。

どちらのほうが適当でしょうか？
機械学習、統計解析、データマイニングでやることは違ってくるとは思うのですが、回答よろしくお願いします。

一応C言語の基礎とjavaで簡単なGUIの作製ができるくらいは勉強しました。

javaとc++、どちらが統計解析、機械学習、データマイニングに向いていますか？

pythonやmecabを使って文章内に出現する改行数をカウントしたいのですが、良い方法が見つかりません。
教えていただけませんでしょうか？

例：
これはサンプルです。
これはサンプルです。