常連

### aタグを削除したいです

aタグを削除するためにfind().decompose
を使ったのですが以下のエラーが出ました。
恥ずかしながら今までこのエラーの意味を考えず、とりあえずfind_all文にforを付け加えるような形でやり過ごしてきました。
例）for ex in base.find_all()
上記のようにforを付け加えてエラーをなんとなく考えていたのですが、
今回、エラーの理由をご教示頂きしっかりと理解しようと考えております。

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "wiki_new.py", line 57, in <module>
    term_long()
  File "wiki_new.py", line 51, in term_long
    for ten in seven.find_all('a').decompose():
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/bs4/element.py", line 2080, in __getattr__
    raise AttributeError(
AttributeError: ResultSet object has no attribute 'decompose'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

```

### 該当のソースコード

```ここに言語名を入力
import requests
import re
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.offsetbox import AnchoredText
from bs4 import BeautifulSoup
from requests.exceptions import Timeout



url = 'https://ja.wikipedia.org/wiki/%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3#%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3%E3%81%AE%E4%B8%80%E8%A6%A7_2'
try:
    r = requests.get(url,timeout=3.5)
except Timeout:
  print('this is timeout error')
  pass
html_soup = BeautifulSoup(r.text,'html.parser')

all = html_soup.find('table',class_='sortable wikitable')

def person_name():
    for per in all:
        for two in all.find_all('tr'):
            for three in two.find_all('td'):
                un = three.get_text(strip=True)
                for more in three.find_all('b'):
                    ni = more.get_text(strip=True)
                    ori = print(ni)
                        
    return  ori

def elsepe ():
    for per in all:
        for two in all.find_all('tr'):
            for three in two.find_all('td'):
                un = three.get_text(strip=True)
                for more in three.select('a'):
                    new_type = more.get_text(strip=True)
                    one = re.sub('[0-9年平成昭和令和明治大正]','',new_type)
                    show = print(one)
    return show
person_name()
elsepe()


def term_long():
    for per in all:
      for six in all.find_all('tr'):
        for seven in six.find_all('td'):
            #こちらの行を修正中です。（下記のコード）
            for ten in seven.findall('a').decompose:
                time = ten.get_text(strip=True)
                nine = re.findall('[0-9]+',time)
                eigtht = print(nine)
    return ni
        
term_long()
```

### 試したこと

0. decomposeを使ってタグを削除しようとしました
0. re.findallを使って<a>から始まる行のみを除去しようとしました。
0. re.subを使って<a>から始まる行のみを置き換えて除去しようとしました。
0. 正しい方法かわからないのですが、find_allに正規表現を組み合わせて削除しようとしました。

上記の４つの試みのなかで一番再現性が高い？ような気がしたので１のエラーについて質問させて頂いております。

decomposeを使ってaタグを取り除く。スクレイピング

### 前提・実現したいこと

エクセルにおいて、2つのデータの一致率を出したいです。

### 発生している問題・エラーメッセージ

エクセルで2つのデータがあります。

データ1
商品　　実績
A　　　　2
C　　　　3
E　　　　1
D　　　　5

データ2
商品　　実績
A　　　　3
B　　　　4
C　　　　3
D　　　　4
F　　　　2

この2つのデータにおける、商品出現の一致率かつ商品実績の一致率を
出したいと考えています。

### 該当のソースコード



### 試したこと

SUMPRODUCT関数を使うと商品出現の一致率は出せそうですが、かつ実績の一致率は
出せないようでした。

### 補足情報（FW/ツールのバージョンなど）

エクセルで2つのデータの一致率を求めたい

以下のコードを実行して特定の列を抜粋しようとしたところ、エラーが発生しました。
解決への方法ご教示いただきたいです。
実行できなかったため一度一つ目のbig_sizeの部分だけ出力して試そうとしているところです。

```
import csv 
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv("/Users/uematsuyuuki/Desktop/kousaten_001_houkou.csv",encoding="cp932")

print(df.loc[:,['上り大型乗用','上り大型貨物']])

def big_size():
    big_vehicle = []
    big_vehicle.append(df.loc[:,['上り大型乗用','上り大型貨物']])
    return big_vehicle

def middle_size():
    middle_vehicle = []
    middle_vehicle.append(df.loc["上り普通乗用","上り普通貨物"])
    return middle_vehicle

def small_size():
    small_vehicle = []
    small_vehicle.append(df.loc["上り四輪計","上り二輪車"])
    return small_vehicle

big_size()
middle_size()
small_size()
```

#現在の状況
print関数を使ってcsvの内容を見てみた結果→
![![イメージ説明](4cc16c7749cc82fd994818922a05dede.png)](2123b4f4dc5715e5dbf16cdff4d1605f.png)
この通り列と行がバラバラな状態になってしまっています。
自分が思うにこれが原因で正確な列を認識することができず、列からデータが取り出せないと出力しているのかなと思っています。ですがこれが原因の場合どのような手を打てば良いかわかりません。。。。。

KeyError: "None of [Index(['上り大型乗用', '上り大型貨物'], dtype='object')] are in the [columns]"

以下のような2つのデータフレームが与えられたとします。

### items

|item_id|item_category_id|
|-------|----------------|
| 1 | 51 |
| 2 | 11 |
| 3 | 42 |

### transactions

|id|item_id|item_num|
|-------|----------------|
| 1 | 3 | 10 |
| 2 | 2 | 9 |
| 3 | 2 | 22 |

ここで　transactions に item_category_id の列を新設したいです。
つまりitem_idの列に対応するitem_category_idを調べながら、列に追加していきたいです。

|id|item_id|item_num| item_category_id |
|-------|----------------|-------------|
| 1 | 3 | 10 | 42 |
| 2 | 2 | 9 | 11 |
| 3 | 2 | 22 | 11|

**これを実現する最もスマートな方法は何でしょうか？**

以下は私が試したコードですが、異様に計算時間がかかる上、エラーが出ました。

＊＊追記＊＊＊
エラーが起こったのは、DataFrameのindexが異なっているからだったようです。
一度右辺をリストにした後、pd.Seriesにし、さらにpd.concatでDataFrameを結合することで一応、目的は達成しました。

しかしながら、結構時間がかかるので、より良い方法があるのではないかと考えております。
またint()などとしているあたりも鈍重に感じます。

```python
transactions['item_category_id'] =
    [ int(items[items['item_id']==ID]['item_category_id']) for ID in transactions['item_id'].tolist() ]
```

よろしくお願い致します。

Pandasで他のdfを参照しながら新しい列を作る方法

scikit-learnのLabelEncoderに関する質問です。

####実行内容・疑問点

まず以下のようにしてLabelEncodingを行いました。（ jupiter notebookを用いています。）

``` python
from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["yama"]) )
#出力結果=>[3]

le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["yama"]))
#出力結果=>[3]
```

ここで、１度目の出力の後、もう一度

```
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
```

として、LabelEncoder()を定義し直し、再びfit()を行なっている訳ですが、le.transform(["yama"])の出力結果が１度目と等しくなります。

次に、

```python
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["tokyo"]))
#出力結果=>[1]

le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto"])
print(le.transform(["tokyo"]))
#出力結果=>[1]
```

を行いましたが、やはりle.transform(["tokyo"])の出力結果が等しくなりました。

ここで、ラベル名が等しければ、LabelEncoder()を定義し直し、再度fit()を行なっても、出力結果が必ず等しくなるのかな？と思ったのです。

しかし、以下のコードを実行したところ、

```python
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto","mori"])
print(le.transform(["tokyo"])) 
#出力結果=>[2]
```

le.transform(["tokyo"])の出力が、[1]ではなく[2]になりました。
変更点は、fit()に用いるラベルを１つ追加したことです。

さらに、以下も実行しました。

```python
le = LabelEncoder()
le.fit(["umi", "yama", "tokyo", "kyoto","mori","mori","mori","mori"])
print(le.transform(["tokyo"])) 
#出力結果=>[2]
```

今度は１つ前の出力結果と等しくなります。一体どういう仕組みでラベルの数値化が行われているのか、とても気になっています。

####質問
LabelEncoderを用いた際、ラベル名を数値に変換する際にどういったルールがあるのか、詳しい方がいたら教えていただきたいです。

scikit-learnのLabelEncoderの仕組みについて

### 前提・実現したいこと

matplotlibを使ってグラフを書いていますが、plotを実行する順によってイメージが大きく変わってしまい困っています。下の図のようにplotを２回呼び出した場合あとで呼び出したもののほうが強く表示されるためデータが偏って見えてしまいます。何か対策はあるでしょうか？


### 該当のソースコード

```python
import matplotlib.pyplot as plt
plt.style.use('ggplot')
A=np.random.random((100,2))
# 順番１
plt.figure()
plt.scatter(A[:50,0],A[:50,1],alpha=0.5)
plt.scatter(A[:,0],A[:,1],alpha=0.5)
plt.show()

# 順番２（反転）
plt.figure()
plt.scatter(A[:,0],A[:,1],alpha=0.5)
plt.scatter(A[:50,0],A[:50,1],alpha=0.5)
plt.show()
```
[画像が分かりづらかったので削除(下に修正後の画像を追加)]

### 試したこと
[追記]
自分で試したところ、プロットする点を小さくすれば良いとわかったので、修正後のコードを載せておきます

```python
import matplotlib.pyplot as plt
import random
plt.style.use('ggplot')
sample_size=1000
A=np.random.random((sample_size,2))
B=np.random.random((sample_size,2))
# 順番１
plt.figure(figsize=(2,2))
plt.scatter(A[:,0],A[:,1],alpha=0.5,c='red')
plt.scatter(B[:,0],B[:,1],alpha=0.5,c='blue')
plt.title('fig.1')
plt.show()

# 順番２（反転）
plt.figure(figsize=(2,2))
plt.scatter(A[:,0],A[:,1],alpha=0.5,c='blue')
plt.scatter(B[:,0],B[:,1],alpha=0.5,c='red')
plt.title('fig.2')
plt.show()

# 対策１
# サンプル数を減らす
# めんどくさい
plt.figure(figsize=(2,2))

for i in range(2):
    indices=random.sample(range(sample_size),int(sample_size/10))
A_part=A[indices]
B_part=B[indices]
plt.scatter(A_part[:,0],A_part[:,1],alpha=0.5,c='red')
plt.scatter(B_part[:,0],B_part[:,1],alpha=0.5,c='blue')
plt.title('fig.3')
plt.show()

# 対策２交互にプロットする
# 時間がかかりすぎる
plt.figure(figsize=(2,2))
for i in range(sample_size):
#for i in range(int(sample_size/100)):
    plt.scatter(A[i,0],A[i,1],alpha=0.5,c='blue')
    plt.scatter(B[i,0],B[i,1],alpha=0.5,c='red')
plt.title('fig.4')
plt.show()

# 対策3 図を大きくする、点を小さくする
plt.figure(figsize=(4,4))
plt.scatter(A[:,0],A[:,1],alpha=0.5,c='blue',s=5)
plt.scatter(B[:,0],B[:,1],alpha=0.5,c='red',s=5)
plt.title('fig.5')
plt.show()
```
![イメージ説明](a9844f3b4b1226194b7cae728b41729c.png)
![イメージ説明](d6a1d73f041c52d90901b828c4281a8b.png)
![イメージ説明](d4eca2e6171d7a3f49905cf6af03bc07.png)
![イメージ説明](49adf38ea333932a8cc579aaf971e9b6.png)
![イメージ説明](d9f7394440124eda5d20f4a9ea52869b.png)


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

matplotlibで複数のグラフを重ねて表示させる場合に実行順序による違いをなくしたい（データの偏りがあるならば見えるようにし、ないならばないようにしたい）

### 質問内容

PythonでSeleniumを用いてTripAdivsorの口コミデータをスクレイピングしてデータ収集することを目的としています。
表示されている全ての口コミや利用時期は取得できたのですが、客室やサービスのレーティングも同様に取得したいと考えているのですが、それらのレーティングの数値はclass名の中に下記のような形で記載されており、要素として記述されていません。
このような場合、class名を取得することはできるのでしょうか？よろしくお願いいたします。
つまり↓のような状況から「ui_bubble_rating bubble_30」をうまく抜き出してくることを考えています。

<span class="ui_bubble_rating bubble_30"> ←この場合はレーティング30です。

よろしくお願いいたします。



### 補足情報
「続きを読む」という機能があることからBeautifulSoupではなく、Seleniumをしようしています。
TripAdvisor URL
https://www.tripadvisor.jp/Hotel_Review-g298560-d1082462-Reviews-or5-Hotel_Clubby_Sapporo-Sapporo_Hokkaido.html#REVIEWS

Python/SeleniumでClass名を取得

オブジェクト指向言語を本格的に勉強しようと思うのですが、できれば機械学習や統計解析、データマイニングに応用できればと思っております。

どちらのほうが適当でしょうか？
機械学習、統計解析、データマイニングでやることは違ってくるとは思うのですが、回答よろしくお願いします。

一応C言語の基礎とjavaで簡単なGUIの作製ができるくらいは勉強しました。