常連

注目の的

社会貢献

自己紹介

### 前提・実現したいこと

プログラミング超初心者です。
初めてこちらのサイトで質問させていただきます。

Pythonに関する質問です。
やりたいこととしては、以下のようなdf1からdf2に加工することです。

import pandas as pd
df1 = pd.DataFrame({'n': [2, 3, 2],
                    'a': [100, 300, 500],
                    'b': [200, 400, 600]})

df2 = pd.DataFrame({'n': [2, 2, 3, 3, 3, 2, 2],
                    'a': [100, 100, 300, 300, 300, 500, 500],
                    'b': [200, 200, 400, 400, 400, 600, 600]})

すなわち、df1['n']の数だけdf1の行を複製することです。
私が試してみたコードは以下の通りで、結果は問題ないのですが、
実際やろうとしているデータではdf1の行数が数百行で、nの数も
ある程度大きな数字です。
私が書いたような2重ループのコードだとかなり非効率なので、
より効率の良い書き方はありませんでしょうか。

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

import pandas as pd
df1 = pd.DataFrame({'n': [2, 3, 2],
                    'a': [100, 300, 500],
                    'b': [200, 400, 600]})

df2 = df1
for i in range(len(df1)):
    for j in range(df1.iloc[i]['n']-1):
        df2 = df2.append(df1.iloc[i])

df2 = df2.sort_index()

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

【Python】データフレームの行の複製

### 前提・実現したいこと
pythonを始めて一週間も満たない初心者です。

scikit-learnを用いてSVM(６つのパラメータから3つのクラス(0,2,3)に分類する)を行ったのち、
多クラス混同行列の作成と、評価指標4つ(正解率・再現率・適合率・F値)の算出をしたいと思い、
以下のプラグラムを作成しました。

SVMと行列の作成は正常に動作したのですが、評価指標の算出がどうもうまくできません。
具体的には、評価データと学習データ数が同じである場合は、評価指標4つが問題なく算出されるのですが、
評価データと学習データの個数が異なった場合にいくつかのエラーがでて計算できません。

自分なりにいろいろ調べ、改善を試みましたが、力不足で対処することができませんでした。
とても初歩的な問題なのかもしれませんが、ご指導いただけますでしょうか。
よろしくお願いします。

### 該当のソースコード

import numpy as np
from sklearn import metrics
from sklearn.svm import SVC
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import train_test_split

//# ファイルからデータ読み込み
import pandas as pd
Data1 = pd.read_csv('test.csv')

//# 説明変数と目的変数を分離
X = Data1.loc[:,["p1","p2","p3","p4","p5","p6"]]
y= Data1.loc[:,"class"]                          

//# 評価データと学習データに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25,shuffle=False)

print('評価データ数:',len(y_test))
print('学習データ数:',len(y_train))

//# SVM
best_gamma = 0.1
best_C = 0.01

from sklearn import svm
clf = svm.SVC(C=best_C, gamma=best_gamma)
clf.fit(X_train, y_train)
pre = clf.predict(X_test)

print("")
print('<予測データ>')
result = pd.DataFrame({"true":y_test, "pred":pre})
print(result)

ac_score = metrics.accuracy_score(y_test, pre)
print('         ({:.1f}%)'.format(ac_score*100))
print("")
print(confusion_matrix(y_test, pre))

//# 評価指標の算出
from sklearn.metrics import accuracy_score
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score, f1_score
from sklearn.metrics import f1_score

acc_score = accuracy_score(y_train, pre)
rec_score = recall_score(y_train, pre, average="macro")
pre_score = precision_score(y_train, pre, average="macro")
f1_score = f1_score(y_train, pre, average="macro")

print("")
print('正解率: {:.2f}'.format(acc_score))
print('再現率: {:.2f}'.format(rec_score))
print('適合率: {:.2f}'.format(pre_score))
print('F1値　: {:.2f}'.format(f1_score))

###発生している問題・エラーメッセージ

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-2-47642e7d9cb4> in <module>
     44 from sklearn.metrics import f1_score
     45 
---> 46 acc_score = accuracy_score(y_train, pre)
     47 rec_score = recall_score(y_train, pre, average="macro")
     48 pre_score = precision_score(y_train, pre, average="macro")

~\Anaconda3\lib\site-packages\sklearn\metrics\classification.py in accuracy_score(y_true, y_pred, normalize, sample_weight)
    174 
    175     # Compute accuracy for each possible representation
--> 176     y_type, y_true, y_pred = _check_targets(y_true, y_pred)
    177     check_consistent_length(y_true, y_pred, sample_weight)
    178     if y_type.startswith('multilabel'):

~\Anaconda3\lib\site-packages\sklearn\metrics\classification.py in _check_targets(y_true, y_pred)
     69     y_pred : array or indicator matrix
     70     """
---> 71     check_consistent_length(y_true, y_pred)
     72     type_true = type_of_target(y_true)
     73     type_pred = type_of_target(y_pred)

~\Anaconda3\lib\site-packages\sklearn\utils\validation.py in check_consistent_length(*arrays)
    203     if len(uniques) > 1:
    204         raise ValueError("Found input variables with inconsistent numbers of"
--> 205                          " samples: %r" % [int(l) for l in lengths])
    206 
    207 

ValueError: Found input variables with inconsistent numbers of samples: [81, 27]

【scikit-learn】評価指標の計算でエラーがでてしまう

### 前提・実現したいこと

Python、統計学初心者の者です。
仕事の関係で、下記のことをPythonで実現したいと考えております。

① あるデータをtrainデータとtestデータに分割する
② trainデータを用いて、GLM(一般化線形モデル)によるポアソン回帰モデルを作成する。
③ 上記のモデルにtestデータを代入し、testデータの実測値とモデルによる予測値を比較する
(交差検証：cross variation)



### 発生している問題・エラーメッセージ

まず、お弁当の需要予測(https://signate.jp/competitions/24)のデータを用いて、
上記の手法をトライしました。
Python初心者で思い通りのコードを書くことはできないので、
インターネットからコードのコピペを組み合わせて試行錯誤しました。
(https://tanuhack.com/statsmodels-multiple-lra/　を参考にしました。)

全データの半分をtrainデータ、半分をtestデータとしました。
気温を説明変数、お弁当の販売数を応答変数とするポアソン回帰モデルを作成しました。
①,②については成功しましたが、③がうまくいきません。
testデータをモデルに当てはめて予測値を出そうとすると、本来であれば103日(testデータの日数)の予測値が出力されるはずですが、たった5日間の予測値しか出力されません。
コードの誤り、修正すべき点があればご教授いただきたいです。
よろしくお願い申し上げます。


### 該当のソースコード

```Python
# 1. 必要なライブラリの読み込み
import pandas as pd
import statsmodels.formula.api as smf
import statsmodels.api as sm
from matplotlib import pyplot as plt


# 2. 使用するデータの読み込み
df = pd.read_csv("Desktop/Pyhton memo/trainmoji.csv", encoding="shift-jis")
df.head()

train = df[0:len(df)//2]

test = df.drop(train.index)

# 3. smf.glmで使うformula(線形予測子)とfamily(確率分布)を設定する
trainY = train['y']          # 目的変数：y

trainX = pd.get_dummies(train[[
   'temperature']]) # 説明変数
family = sm.families.Poisson()
trainX = sm.add_constant(trainX)

# 4. 先ほどの設定値を使って一般化線形モデルを作成
model = sm.GLM(trainY, trainX, family=family)

# 5. 作成したモデルを学習させる
result = model.fit()

# 6. 結果の表示
result.summary()

# 7. テストデータにモデルを当てはめて予測値を出力
testX =  pd.get_dummies(test[['temperature']]) # 説明変数
testX['const'] = 1.0 

pred = result.predict(testX)
test['pred'] = pred
test.head()
```

### 補足情報（FW/ツールのバージョンなど）

実際のjupyterの画面のスクリーンショットを添付しております。
![#1-#6のコードと出力結果](953ba147db269b5168d3045ec72aaf42.png)
![#7のコードと出力結果](25b87c3b3d5787b62e10baf14d838bc1.png)

未知のデータを統計モデル(一般化線形モデル)に当てはめて、予測値を算出したい　(交差検証：cross variation)

python, seleniumでスクレイピングをしています。
あるサイトで、サイト内のあるボタンをクリックすると
iframeのページが召喚されて、GUI上では小窓が出てきます。
```python
driver.switch_to.frame(iframe)
```
このコマンドを使えばiframeにスイッチして、
操作できるところまでは分かりました。

その後、この小窓内であるボタンをクリックすると、
サイト側である処理が走り、同時に小窓が消滅するのですが、
その後も元のページに戻って処理を続けたいです。

```python
# 元ページにてiframeの画面を召喚する
driver.find_element_by_class_name('hoge').click()

# iframe画面にスイッチする
driver.switch_to.frame(driver.find_element_by_class_name('fuga'))

# iframe画面で処理を行う（処理と同時にiframe画面が消滅する）
driver.find_element_by_class_name('hogehoge').click()

# 元ページ画面にスイッチする
XXXXXXXXXXXXXXXXXX

# 元ページにて別の処理を行う
for i in range(10):
    ...
```
このXXXXXXXXXXXXXXXXXXはどう記述すればよいでしょうか。

【python selenium】driver.switch_to.frame(iframe)の後、元の画面に戻りたい

### 前提・実現したいこと(再度、訂正させて頂きました。)
初めまして
pythonのrequestsとseleniumとBeautifulSoupを使って
下記写真の右側矢印付近にある<ix:nonnumeric>タグから左側の矢印に該当する氏名<塚田 耕司>を取得しようと試みたのですが、
何も要素を取得できませんでした。

ちゃんと要素を受け取るためにはどのようにcssセレクタを指定すればよろしいでしょうか？

![イメージ説明](e42e4697deaf9e5658ccbd3db46169ce.png)

こちらがターミナルの結果画像になります。

![イメージ説明](fb6545921ad1037713d8bee14869f00d.png)

### 該当のソースコード
Python3.8
```
from bs4 import BeautifulSoup
import requests
from selenium import webdriver
import time

URL = "https://disclosure.edinet-fsa.go.jp/E01EW/BLMainController.jsp?uji.verb=W00Z1010initialize&uji.bean=ek.bean.EKW00Z1010Bean&PID=W1E63031&TID=W00Z1010&SESSIONKEY=1592144727926&stype=0&dcdSelect=35001&hcdSelect=&ycdSelect=&tsbSdt=&syoruiKanriNo=S100GG5L&keyword1=7203&keyword2=&keyword3=&keyword4=&keyword5=&lgKbn=2&pkbn=0&skbn=1&dskb=&askb=&dflg=0&iflg=0&preId=1&chr=7203&hbn=true&spf5=2&otd=35001&hcd=&sec=&scc=&shb=&snm=&spf1=1&spf2=1&iec=&icc=&inm=&spf3=1&fdc=&fnm=&spf4=1&cal=1&era=H&yer=&mon=&psr=1&pid=4&row=100&idx=0&str=&kbn=1&flg="
page = requests.get(URL)

driver = webdriver.Chrome()
driver.get(URL)

time.sleep(3)

soup = BeautifulSoup(driver.page_source, "html.parser")

el = soup.select("div#diffBlock00_4")
print(el)

time.sleep(5)


```

### 試したこと

最初はrequestsでサイトを取得しBeatifulSoupで解析を行ったのですが、解析結果に
対応していないブラウザです
と表示されたのでseleniumでブラウザを起動し解析を試みました。

こちらのサイトを参考に様々なcssセレクタを試しましたが結果は同じでした。
https://gammasoft.jp/support/css-selector-for-python-web-scraping/

### 補足情報（FW/ツールのバージョンなど）

IDEはvisual stdio code
webブラウザーはChromeDriverでちゃんとバージョンが合ったものを使用しています。

当方は、htmlはprogateを一周、機械学習や作業の自動化に惹かれpythonを始めたばかりで拙い文章だとは思いますが、ご教授の方よろしくお願い致します。

python スクレイピングの要素指定について

jupyter notebookでPythonを動かしています。

ロジスティック回帰を行い、各評価指標を求めたいです。

'numpy.float64' object is not callableというエラーが出ました。

コードは以下の通りです。
```
import matplotlib.pyplot as plt
import numpy as np

from sklearn.datasets import load_boston
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import Lasso

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
import sklearn 


%matplotlib inline

boston = load_boston()
boston = pd.DataFrame(boston.data, columns=boston.feature_names)

#Falseの列要素を削除
boston.drop("CRIM",axis=1,inplace=True)
boston.drop("INDUS",axis=1,inplace=True)
boston.drop("CHAS",axis=1,inplace=True)
boston.drop("NOX",axis=1,inplace=True)
boston.drop("RM",axis=1,inplace=True)
boston.drop("DIS",axis=1,inplace=True)


X = preprocessing.scale(boston[["ZN","AGE","RAD","PTRATIO","B","LSTAT"]])
Y =boston["TAX"]#正解データ:整数のものを選んだ

#トレーニングデータとテストデータを7:3に分ける
X_tr, X_te, Y_tr, Y_te = train_test_split(X, Y, test_size=0.3, random_state=4 )

from sklearn.linear_model import LogisticRegression
# ロジスティック回帰モデルのインスタンス
lr = LogisticRegression() 

# トレーニングデータから，ロジスティック回帰モデルの重みを学習
lr.fit(X_tr, Y_tr) 

# テストデータにおける検証を行う．
Y_pred = lr.predict(X_te)

from sklearn.metrics import confusion_matrix, accuracy_score, precision_score, recall_score, f1_score

#混同行列
print('confusion matrix = \n', confusion_matrix(y_true=Y_te, y_pred=Y_pred))
#正確度
print('accuracy = ', accuracy_score(y_true=Y_te, y_pred=Y_pred))
#汎化誤差
print('汎化誤差 = ', 1-accuracy_score(y_true=Y_te, y_pred=Y_pred))
#適合率
print('precision = ', precision_score(y_true=Y_te, y_pred=Y_pred))
#F値
print('f1 score = ', f1_score(y_true=Y_te, y_pred=Y_pred))
```

すると、このようなエラーが出ました。
![イメージ説明](99472b8ee723fa27c97e22dff927c31d.png)

どこがおかしいのでしょうか。よろしくお願いいたします。

#追記
新しいnotebookで実行し直すと、f値についてのエラーが出ました。
![イメージ説明](dd0936c684e527bdf704644c64239c04.png)
![イメージ説明](457997a083c5063d3153cb3886dc1869.png)

このようなエラーが出ました。
どこがおかしいのでしょうか。
また、スコアが異様に低い気がするのですが、こんなものでしょうか。

Python ロジスティック回帰　'numpy.float64' object is not callable

test.pyという名前のファイルを作成したのですが、中にはmatplotlibモジュールをimportしています。

こちらはIDE上で実行すると無事に実行されます。

ただ、test.pyがおかれているフォルダからダブルクリックで実行すると何も表示されません。
コマンドプロンプトでそのファイルがおかれているフォルダにcdコマンドで移動して、test.pyと入力しても

ModuleNotFoundError: No module named 'matplotlib'

が表示されてしまいます。

コマンドプロンプトでカレントディレクトリ上でpythonを起動して以下のコマンドを実行したところ以下のように表示されました。
```python
pprint.pprint(sys.path)
```

```結果
['',
 'C:\ProgramData\Anaconda3\python37.zip',
 'C:\ProgramData\Anaconda3\DLLs',
 'C:\ProgramData\Anaconda3\lib',
 'C:\ProgramData\Anaconda3',
 'C:\ProgramData\Anaconda3\lib\site-packages',
 'C:\ProgramData\Anaconda3\lib\site-packages\win32',
 'C:\ProgramData\Anaconda3\lib\site-packages\win32\lib',
 'C:\ProgramData\Anaconda3\lib\site-packages\Pythonwin']
```
確かにアナコンダのパスは通っているようにみえます。
なぜこのような事象が発生してしまうのでしょうか？
ご教示の程宜しくお願い申し上げます。

pythonでimportエラーが発生する事象について

### 実現したいこと
Pythonで仮想環境に入っているかどうか。また、入っていなかったら入りたい。
例えば、コードの初めに
```Python
import os
if "仮想環境に入っていなかったら":
    os.getcwd() + "venv/Scripts/activate" を実行
```こんなことをやりたい
調べても合致したものが出てこなくて困っています。
よろしくお願いします。
### バージョン
python: 3.7.7

Pythonで仮想環境に入っているかどうか。また、入っていなかったら入りたい

### 前提・実現したいこと
Seleniumを使い、Newspicksトップページの属性値を取得したい

### 問題
値が帰っているはずのリストが空

### コード
driver = webdriver.Chrome(executable_path=DRIVER_PATH, chrome_options=Options()

url = 'https://newspicks.com/'
class_name ='title _ellipsis'

driver.get(url)

test = driver.find_elements_by_class_name(class_name)
test

### 確認できていること
Selenium経由でChromeが立ち上がっていることは確認しました。
Beautiful Soupでは同様の属性値を取得できました。

補足情報（FW/ツールのバージョンなど）
python3.7.4

Seleniumを使った属性値の取得ができない

### 前提・実現したいこと
Python3 ・Tweepyを使ってTwitterのツイートを取得したいのですが、
ツイートの期間指定の方法がわかりません。教えてください。

```python3
--------------------------------------------------------
#検索キーワード設定
q = keyword

#つぶやきを格納するリスト
tweets_data =[]

#カーソルを使用してデータ取得
for tweet in tweepy.Cursor(api.search, q=q, count=100,tweet_mode='extended').items(30000):

#つぶやき時間がUTCのため、JSTに変換 ※デバック用のコード
jsttime = tweet.created_at + datetime.timedelta(hours=9)
print(jsttime)

#Tweetdata取得
tweets_data.append([tweet.id,tweet.created_at,tweet.full_text.replace('\n','').replace(',',''),tweet.favorite_count,tweet.retweet_count])


#出力ファイル名
fname = r"'"+ dfile + "'"
fname = fname.replace("'","")
```

Python Tweepyで期間指定してツイートを取得

### 前提・実現したいこと
初めての質問なのでわかりにくいところがあるかもしれません。

Youtube Data API(v3)を使って多言語対応の動画の場合、日本語以外の動画情報（タイトルや説明文など）を取得したいです。

通常だと日本語表示ですが、ユーザの言語や国によってタイトル等が英語に切り替わる設定がされた動画があります。
その英語版の動画情報を取得したいのですが、現状日本語の方しか取得できていない状況です。

https://www.googleapis.com/youtube/v3/videos?id=[動画のid]&key=[api key]&part=snippet,contentDetails,statistics,status


### 試したこと
youtubeの方で英語表記にしてから取得する→動画Idは同じなので変化なし
言語指定に関係しそうなパラメーター?をapiに追加する（&regionCode=US, &gl=US, &hl=enなど）
→いくつか組み合わせたりしましたが変化なし



何度か調べてみましたが解決方法が見つからず困っています。他にも言語を指定する方法があるのでしょうか？

Youtube Data API(v3) で言語を指定して動画情報を取得したい

### 前提・実現したいこと

pythonのBeautiful Soupを用いてスクレイピングを行っております。
用いているサイトはこちら（[netkeibaへのリンク](https://race.netkeiba.com/top/race_list.html?kaisai_date=20200412)）で、実現したいことは、レース表を取得することです。
Chromeのデベロッパーツールを用いてレース表の場所を探し出し、find_all()で適宜条件を指定すれば取得できるはずだと思い実行してみたのですが、なぜかうまくいきません。
取得したいレース表と、該当する階層の画像を以下に添付します。
![レース表](ffc85a949c7f6c00a7e8f2c291379423.png)
![デベロッパーツール](774b06b6f33a8c6b875999745ebac03d.png)

### 発生している問題・エラーメッセージ

ホームページ上で確認できる階層にたどり着けない（見つけられない）。
find_all()で検索をしても[]が返ってくる。

取得したい場所は
```
<dl class="RaceList_DataList">...</dl>
```
なのですが、find_all()関数では、その場所を見つけることができませんでした。

### 該当のソースコード

```python
def func(x):
    http = urllib3.PoolManager()
    response = http.request('GET',x)

    return BeautifulSoup(response.data, "html.parser")

url = "https://race.netkeiba.com/top/race_list.html?kaisai_date=20200412"
soup.find_all("dl", class_="RaceList_DataList")
# 返り値
# []
```

### 試したこと

他にもいくつかの方法で探してみましたが、手がかりは見つかりませんでした。
```python
soup.find_all("div", id="date_list")
# [<div class="RaceList_Area" id="date_list"></div>]
```
```python
soup.find_all("div", id="race_list")
"""
[<div id="race_list">
 <div class="RaceList_Area" id="date_list"></div>
 <div id="JraDigestPlaceHolder"></div>
 <div class="Contents_Box Top_RaceDigest" id="JraDigest"></div>
 <script type="text/javascript">
 〜〜省略〜〜
 </script>
 <div class="FileLoader"><img alt="" src="https://cdn.netkeiba.com/img.racev3/common/img/common/gif-load.gif?2019080101"/></div>
 </div>]
"""
```

また、selectorを使ってみましたが、同じ結果を返しました。
```python
soup.select('#RaceTopRace > div > dl:nth-child(1)')
# []
```

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Beautiful Soup 取得したい階層にたどり着けない（見つからない）

### 前提・実現したいこと

python初心者です。
twitterで、期間を指定し、特定キーワードが含まれるツイートをすべて抜き出しを行いたいです。
期間は1～2日と非常に短いです。
pythonのtweepyを使っています。

### 発生している問題・エラーメッセージ

TweepError: Twitter error response: status code = 400


### 該当のソースコード

```Python
import tweepy
#import datetime

Consumer_key = ''
Consumer_secret = ''
Access_token = ''
Access_token_secret = ''

### TwitterAPI認証用関数
def authTwitter():
  auth = tweepy.OAuthHandler(Consumer_key, Consumer_secret)
  auth.set_access_token(Access_token, Access_token_secret)
  api = tweepy.API(auth, wait_on_rate_limit = True) # API利用制限にかかった場合、解除まで待機する
  return(api)


### Tweetの検索結果を標準出力
def getTweetBySearch(s, since, until):
  
  result = []
  
  api = authTwitter() # 認証
  
  ## vars
  sinceDate = since # この日付以降のツイートを取得する
  untilDate = until # この日付以前のツイートを取得する
  
  # 検索用文字列（リツイートは除外する）
  sratchStr = s + ' exclude:retweets'
  print('検索文字列 : ' + sratchStr)
  
  tweets = tweepy.Cursor(api.search, q = s, \
                         include_entities = True, \
                         tweet_mode = 'extended', \
                         since = sinceDate, \
                         until = untilDate, \
                         lang = 'ja').items(10) # テストなので10個に
  
  for tweet in tweets:
    print('＝＝＝＝＝＝＝＝＝＝')
    print('twid : ',tweet.id)
    print('user : ',tweet.user.screen_name)
    print('date : ', tweet.created_at)
    print(tweet.full_text)
    print('favo : ', tweet.favorite_count)
    print('retw : ', tweet.retweet_count)
 
def main():
  getTweetBySearch('python','2020-4-20_17:00:00_JST','2020-4-21_17:00:00_JST')

if __name__ == "__main__":
  main()
```

### 試したこと

期間指定をdatetimeでd1 = datetime.datetime(2020, 4, 20, 17, 0, 0)として渡す、
JSTではなくする等行いましたが、解消されません。
期間指定を入れない場合（直近ツイートの抽出）は動きます。
どうぞよろしくお願いいたします。

### 補足情報（FW/ツールのバージョンなど）
python3.7

指定期間内の特定キーワードのtweetをすべて抜き出したい

#　Google検索結果から必要な要素を__Python__で__Web__スクレイピング
## ステータス
訳があって友人から[このサイト](https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000)を紹介されて取り組むことになりました。

自分は__Python__はある程度知っていますが、__HTML__とブラウザ関係のことは触れたことがありません。

## 問題
[サイト](https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000)に乗っているプログラムの一部、**検索結果タイトルとリンクの取得**、**検索結果の説明部分を取得**の出力がどちらも空白の配列が帰ってきてしまいます。
```Python
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?num=100&q=' + '　'.join(list_keywd))
resp.raise_for_status()

# 取得したHTMLをパースする
soup = bs4.BeautifulSoup(resp.text, "html.parser")
# 検索結果のタイトルとリンクを取得
link_elem01 = soup.select('.r > a')
# 検索結果の説明部分を取得
link_elem02 = soup.select('.s > .st')
```
## 取り組み
`select`内の`.r`が`class`を指定して、`a`がタグを示すことはわかりました。
でも、調べてみると別の書き方があるそうで、そちらでプログラムを書き直しました。
```Python
b_soup = bs4.BeautifulSoup(resp.text,"html.parser")

link_title = b_soup.find_all("div",class_="main")
print(link_title)
```
しかし、これでは自分が欲しいタイトルとリンク、説明文をうまく取り出すことができませんでした。

悩んだ自分は、URLに問題があると思いシンプルなサイトのURLを使って試してみました。
すると、自分の望んだ通りの結果が得られました。
なので問題はGoogleのURL(検証のHTML)にあると思います。

## 質問
[このサイト](https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000)のプログラムを使って検索結果からタイトルやURL、説明を取得したいのですがどうすればいいでしょうか？

GoogleのURL(検証)内の`<div id="main">`の中にある各記事にアクセスしてタイトルなどを取得するためにはどうしたらいいですか？