常連

## テーマ

requestsライブラリの取得時間について

## 背景

※プログラミング初学者なので見当違いのことを議論していたら、申し訳ありません。
requestsライブラリのget関数でサーバから情報を取得するのかかる時間について議論させてください。
当方スクレイピングをしてサイトからデータを抽出したりしています。
その際にpythonでrequests.get()関数を使用しているのですが、使用するPCや環境によって速度が著しく異なるため、疑問に思い今回の質問を作成しています。

有識者の皆様には、このget()関数の情報取得時間に影響のある要因を教えていただきたいです。

まず、私は2つの環境を構築して下記プログラムを流して確認しました。
その結果①と②で下記のように速度で7倍ほど差が出ました。
①time_elapsed: 0.433486
②time_elapsed: 0.065314
この結果は繰り返したり、何度やっても同じ傾向で再現性があることは確認しています。

このような差が生まれる要因がわからず、スペックの高い①のPC環境で情報取得速度を上げたいというのが今回の質問の結論です。博識な皆様のお力添えで私の質問の手助けをしていただきたいです。よろしくお願いいたします。他に知りたい情報などありましたら、ご連絡いただければ回答いたします。

プログラム
---
```Python
import requests
import time 
import os

url = "URLを記載"
res = requests.get(url)
time_elapsed = res.elapsed.total_seconds()
print('time_elapsed:', time_elapsed)

```

実施環境
---
接続先のルーターは下記環境一緒
PC環境①
使用機器：自作PC
CPU：AMD Ryzen7 3700X
ツール：Jupyterlab Desktop Version 4.1.8-1
　　　　Jupyterlab Version 3.6.7
Python：Python 3.11.7
ネット接続方法：有線

PC環境②
使用機器：ノートPC
CPU：Intel Core i5 8thGen
ツール：Jupyterlab Version 3.1.13-1
Python：Python 3.8.12
ネット接続方法：Wifi

補足
---
PC環境①でも以前はPC環境②と同じレベルの速度でサーバー情報の取得ができていました。
Jupyterlabのアップデートなどをしたところ今回のような遅い結果になるようになりました。

Pythonでスクレイピングするときのrequestsライブラリの取得時間について

こちらのリンクhttps://zatsugaku-engineer.com/python/scraping/
のプログラムをコピペして試したのですが、
FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
というエラーが出てしまったのでどう書けば良いのか困惑しています。

list_df = list_df.append(tmp_se)
を
pd.concat([tmp_se,list_df])
に書き換えてデバッグを実行したら何も反応が無くなりました。
どのように書いたら良いのでしょうか、よろしくお願いします。


```python
import pandas as pd
  #取得した歌詞を表に追加
            tmp_se = pd.DataFrame([[song_name], [release_date], [impressions], [song_lyric]], index=list_df.columns).T
            list_df = list_df.append(tmp_se)

```

pandasのframe.appendの代わりにpandas.concatを使うには

### 前提・実現したいこと
犬
猫
上記で言う「犬」「猫」のような
複数の要素を持つタグに含まれている、内容だけを取得したいです。※idやclassがありません。
（本来は[こちら](http://yume-uranai.jp/keyword.php?keyword=%8C%A2&q=1)のソースを取得しています）
### 発生している問題・エラーメッセージ
複数の該当する内容を取得したいので.find_all()を利用しています。
詳細は該当のソースコードに記載しています。
```
"ResultSet object has no attribute '%s'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?" % key
AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?
Exited with status 1 after 0.26 seconds
```

### 該当のソースコード

```python3
import urllib.request
from bs4 import BeautifulSoup
html = urllib.request.urlopen("http://yume-uranai.jp/keyword.php?keyword=%8C%A2&q=1")
soup = BeautifulSoup(html, "html.parser")
title = soup.find_all("strong",style="color:#C84B00;font-size: 16px;")
print(title.text)

```
### 調べたこと
[この質問](https://teratail.com/questions/110824)では、.stringの位置が違うんじゃないか？と言う回答が寄せられていました。
.stringは、.textと違い、1つの要素の時に使うものだと認識しております。
（[こちら](http://irukanobox.blogspot.com/2016/06/beautifulsoup4textstring.html)を読みましたが、まだよく理解していません。とりあえず、.textが大味な意味で使える物と言う認識もしています。
質問を参考に.textの位置を変えて見ました。
```
title = soup.find_all("strong",style="color:#C84B00;font-size: 16px;".text)
print(title)
```
もしくはこちらも
```
title = soup.find_all("strong",style="color:#C84B00;font-size: 16px;").text
print(title)
```
どちらとも最初と同じエラーメッセージが出ます。

しかし、print(title)を使わずに、このようにforで1つずつ取り出すと正しく中身だけを抜くことができました。
```
for i in title:
 print(i.text)
```

以下の参考にした記事全て、このようなfor文での書き方はしていません。
https://qiita.com/itkr/items/513318a9b5b92bd56185
https://qiita.com/connectcrew-ishii/items/6ad316ea854326c536a6
http://python.zombie-hunting-club.com/entry/2017/11/08/192731

僕の調べ方が悪いのか、また分からなさすぎて理解が足りていないだけなのか、恐らくその両方だと思いますが
forを使わずに、find_allで文章だけ取得することは不可能なのでしょうか？
僕はこの結果を配列に格納したいのですが、せっかくfind_allで取得した、タグも含まれている配列をfor文で出力し
また別の配列に入れなければなりません。
最初から、find_allで中身だけ取り出せれば良い物だと思うのですが、全くやり方がわかりません。

右も左も分からないレベルに初心者なので、エンジニアの方が想定している考え方が全くできていないと思いますが、ご回答していただければ幸いです。

BeautifulSoup4のfind_allでタグの中の文章が取得できない

### 前提・実現したいこと
プログラミング自体初心者で、
BeautifulSoupを使ってサイトから店名と住所をリスト化する練習をしています。
そこで
AttributeError: 'NoneType' object has no attribute 'text'
が発生して困っています。どうかよろしくお願いいたします。

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
 File "/home/ec2-user/environment/list_maker.py", line 32, in <module>
 phone_number = get_number()
 File "/home/ec2-user/environment/list_maker.py", line 18, in get_number
 shopname = item.select_one('.shopname').text.replace('\n', '')
AttributeError: 'NoneType' object has no attribute 'text'
```

### 該当のソースコード

```python 3.x
import requests
from bs4 import BeautifulSoup

area = input('エリアアルファベットを入力してください:\n')

def get_adress():
 url = 'https://nightstyle.jp/' + area + '/'
 responce = requests.get(url)
 html = responce.text
 soup = BeautifulSoup(html, 'html.parser')
 items = soup.select('.list-item')
 
 iteme_number = 0
 adress_list = []
 
 
 for item in items:
 shopname = item.select_one('.shopname')
 adress = item.select_one('.important')
 adress_list.append(adress)
 print(iteme_number)
 print(shopname)
 print(adress + '\n')
 iteme_number += 1
 
 selected_itme_number = int(input('番号を入力してください\n'))
 selected_adress = int(adress_list[selected_itme_number])
 print(selected_adress)
 return selected_adress

 
shop_adress = get_adress()
```

### 試したこと

他者の同じエラーが出ている質問を見ても、分かりませんでした。

### 補足情報（FW/ツールのバージョンなど）

aws cloud9
python 3.x

スクレイピングアプリ作成中に起きたエラー、'AttributeError: 'NoneType' object has no attribute 'text''について

### 前提・実現したいこと

Pythonを使って指定したサイトのalexaランキングを調べるプログラムを作っています。
URLからclassを指定して、ランキングの情報を取得することはできているのですが、取得した情報から不要な空白などを削除するとエラーが出ます。

### 発生している問題・エラーメッセージ

```
TypeError: expected string or bytes-like object
```

### 該当のソースコード

```Python
import requests
from bs4 import BeautifulSoup
import re

want_URL = 'google.com' #とりあえず、googleにしています

URL = ('https://www.alexa.com/siteinfo/' + want_URL)
res = requests.get(URL)
soup = BeautifulSoup(res.text, "html.parser")

ranking = soup.find('p', class_='big data') #big dateというclassにランキング情報が入っています
ranking = re.sub('[ # ]', ' ', ranking) #ここでspanなど不要な情報を削除
print(ranking.strip() + '位です') #stripでスペースと改行を削除

```

### 試したこと
不要な部分を削除する部分のコードは他のプログラムで動くか確認して、動きました。

ranking = soup.find('p', class_='big data')で不要な部分を含めたランキング情報は取得できています。

### 補足情報（FW/ツールのバージョンなど）
Windows 10
Python 3.9
BeautifulSoup 最新
VScode

Pythonでスクレイピング中、TypeError: expected string or bytes-like object が発生。

### 実現したいこと

・スクレイピング可能なサイトの見分け方について教えて頂きたいです。

### 前提

利用規約などを見てスクレイピングが可能なサイトか、否か、見分けているのですが、初心者なので本当にスクレイピングしていいサイトなのか不安です。



### 試したこと
調べて、robots.txtを使い、そのサイトのスクレイピング可能か否か判断する。という記事を見ました。
例えば、アマゾンのサイトURL＋robots.txtをやってみると、「許可しない」という文字がいっぱい出てきて禁止サイトなのだと判断しました。

ですが、サイトURL+robots.txtで検索してもページが見つかりません。という表示だけでなにも出てこないサイトがあります。
例えば、国土交通省とかでやってみると、うまく表示ができませんでした。
国土交通省の利用規約を見ると、スクレイピングをしても良いみたいな文面は書いてあり、おそらく可能なサイトだとは思うのですが、利用規約を見る以外で、可能か禁止か確認する方法を教えて頂きたいです。
ここに問題に対して試したことを記載してください。

### 補足情報

スクレイピング可能なサイト、禁止のサイト、皆さんはどのように確認をしているのでしょうか？
是非、ご教授いただきたいです。


スクレイピングが可能なサイトの見分け方について

jupyter labで問題なく実行されているaaa.ipynbプログラムを、aaa.pyに変換して、
C:\Users\py1>python C:\Users\py1\Desktop\mypandas\aaa.py
を実行したら、
Traceback (most recent call last):
 File "C:\Users\py1\Desktop\mypandas\aaa.py", line 7, in <module>
 get_ipython().system('pip install beautifulsoup4')
NameError: name 'get_ipython' is not defined
のエラーが出ました。同じフォルダ内にある返還前のaaa.ipynbプログラムは問題なく稼働しているので、原因がわかりません。

pythonがget_ipythonのエラーで実行できない

### 前提・実現したいこと

プログラミング初学者でPythonのスクレイピングの学習をしています。

講義に沿って同じように進めており、find_allを使用して<dl>を取得する過程で、エラーが表示されてしまい先に進めず困っています。

個人的に調べてみた結果、find_allで取得する要素がない的なことだと思うのですが、対処のしかたがわかりませんでした。

確認したところ取得したHTMLに<dl>は存在しているのですが、この場合どのように取得すればよいでしょうか？

### 発生している問題・エラーメッセージ

```
AttributeError: ResultSet object has no attribute 'find_all'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?
```

### 該当のソースコード

```python
import requests
from bs4 import BeautifulSoup

url = 'https://scraping-for-beginner.herokuapp.com/ranking/'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
spots = soup.find_all('div', attrs={'class': 'u_areaListRankingBox'})
spot = spots[0]

spots = soup.find_all('div', attrs={'class': 'u_areaListRankingBox'})
spot = spots[0]

spot_name = spot.find('div',attrs={'class': 'u_title'})
spot_name.find('span', attrs={'class': 'badge'}).extract()
spot_name.text.replace('\n', '')

spot.find('div',attrs={'class': 'u_rankBox'})
eval_num = spot.find('div',attrs={'class': 'u_rankBox'}).text
eval_num = float(eval_num.replace('\n', ''))

categoryItems = spot.find_all('div', attrs={'class': 'u_categoryTipsItem'})
categoryItems.find_all('dl')
```

Beautiful Soup