常連

### 前提・実現したいこと

プログラミング初学者でPythonのスクレイピングの学習をしています。

講義に沿って同じように進めており、find_allを使用して<dl>を取得する過程で、エラーが表示されてしまい先に進めず困っています。

個人的に調べてみた結果、find_allで取得する要素がない的なことだと思うのですが、対処のしかたがわかりませんでした。

確認したところ取得したHTMLに<dl>は存在しているのですが、この場合どのように取得すればよいでしょうか？

### 発生している問題・エラーメッセージ

```
AttributeError: ResultSet object has no attribute 'find_all'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?
```

### 該当のソースコード

```python
import requests
from bs4 import BeautifulSoup

url = 'https://scraping-for-beginner.herokuapp.com/ranking/'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
spots = soup.find_all('div', attrs={'class': 'u_areaListRankingBox'})
spot = spots[0]

spots = soup.find_all('div', attrs={'class': 'u_areaListRankingBox'})
spot = spots[0]

spot_name = spot.find('div',attrs={'class': 'u_title'})
spot_name.find('span', attrs={'class': 'badge'}).extract()
spot_name.text.replace('\n', '')

spot.find('div',attrs={'class': 'u_rankBox'})
eval_num = spot.find('div',attrs={'class': 'u_rankBox'}).text
eval_num = float(eval_num.replace('\n', ''))

categoryItems = spot.find_all('div', attrs={'class': 'u_categoryTipsItem'})
categoryItems.find_all('dl')
```

複数の要素をfind_all()で取得したいがエラーが表示されて先に進めません。

こちらのリンクhttps://zatsugaku-engineer.com/python/scraping/
のプログラムをコピペして試したのですが、
FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
というエラーが出てしまったのでどう書けば良いのか困惑しています。

list_df = list_df.append(tmp_se)
を
pd.concat([tmp_se,list_df])
に書き換えてデバッグを実行したら何も反応が無くなりました。
どのように書いたら良いのでしょうか、よろしくお願いします。


```python
import pandas as pd
  #取得した歌詞を表に追加
            tmp_se = pd.DataFrame([[song_name], [release_date], [impressions], [song_lyric]], index=list_df.columns).T
            list_df = list_df.append(tmp_se)

```

pandasのframe.appendの代わりにpandas.concatを使うには

### 前提・実現したいこと
犬
猫
上記で言う「犬」「猫」のような
複数の要素を持つタグに含まれている、内容だけを取得したいです。※idやclassがありません。
（本来は[こちら](http://yume-uranai.jp/keyword.php?keyword=%8C%A2&q=1)のソースを取得しています）
### 発生している問題・エラーメッセージ
複数の該当する内容を取得したいので.find_all()を利用しています。
詳細は該当のソースコードに記載しています。
```
"ResultSet object has no attribute '%s'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?" % key
AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?
Exited with status 1 after 0.26 seconds
```

### 該当のソースコード

```python3
import urllib.request
from bs4 import BeautifulSoup
html = urllib.request.urlopen("http://yume-uranai.jp/keyword.php?keyword=%8C%A2&q=1")
soup = BeautifulSoup(html, "html.parser")
title = soup.find_all("strong",style="color:#C84B00;font-size: 16px;")
print(title.text)

```
### 調べたこと
[この質問](https://teratail.com/questions/110824)では、.stringの位置が違うんじゃないか？と言う回答が寄せられていました。
.stringは、.textと違い、1つの要素の時に使うものだと認識しております。
（[こちら](http://irukanobox.blogspot.com/2016/06/beautifulsoup4textstring.html)を読みましたが、まだよく理解していません。とりあえず、.textが大味な意味で使える物と言う認識もしています。
質問を参考に.textの位置を変えて見ました。
```
title = soup.find_all("strong",style="color:#C84B00;font-size: 16px;".text)
print(title)
```
もしくはこちらも
```
title = soup.find_all("strong",style="color:#C84B00;font-size: 16px;").text
print(title)
```
どちらとも最初と同じエラーメッセージが出ます。

しかし、print(title)を使わずに、このようにforで1つずつ取り出すと正しく中身だけを抜くことができました。
```
for i in title:
 print(i.text)
```

以下の参考にした記事全て、このようなfor文での書き方はしていません。
https://qiita.com/itkr/items/513318a9b5b92bd56185
https://qiita.com/connectcrew-ishii/items/6ad316ea854326c536a6
http://python.zombie-hunting-club.com/entry/2017/11/08/192731

僕の調べ方が悪いのか、また分からなさすぎて理解が足りていないだけなのか、恐らくその両方だと思いますが
forを使わずに、find_allで文章だけ取得することは不可能なのでしょうか？
僕はこの結果を配列に格納したいのですが、せっかくfind_allで取得した、タグも含まれている配列をfor文で出力し
また別の配列に入れなければなりません。
最初から、find_allで中身だけ取り出せれば良い物だと思うのですが、全くやり方がわかりません。

右も左も分からないレベルに初心者なので、エンジニアの方が想定している考え方が全くできていないと思いますが、ご回答していただければ幸いです。

BeautifulSoup4のfind_allでタグの中の文章が取得できない

### 実現したいこと

・スクレイピング可能なサイトの見分け方について教えて頂きたいです。

### 前提

利用規約などを見てスクレイピングが可能なサイトか、否か、見分けているのですが、初心者なので本当にスクレイピングしていいサイトなのか不安です。



### 試したこと
調べて、robots.txtを使い、そのサイトのスクレイピング可能か否か判断する。という記事を見ました。
例えば、アマゾンのサイトURL＋robots.txtをやってみると、「許可しない」という文字がいっぱい出てきて禁止サイトなのだと判断しました。

ですが、サイトURL+robots.txtで検索してもページが見つかりません。という表示だけでなにも出てこないサイトがあります。
例えば、国土交通省とかでやってみると、うまく表示ができませんでした。
国土交通省の利用規約を見ると、スクレイピングをしても良いみたいな文面は書いてあり、おそらく可能なサイトだとは思うのですが、利用規約を見る以外で、可能か禁止か確認する方法を教えて頂きたいです。
ここに問題に対して試したことを記載してください。

### 補足情報

スクレイピング可能なサイト、禁止のサイト、皆さんはどのように確認をしているのでしょうか？
是非、ご教授いただきたいです。


スクレイピングが可能なサイトの見分け方について

### 前提・実現したいこと
プログラミング自体初心者で、
BeautifulSoupを使ってサイトから店名と住所をリスト化する練習をしています。
そこで
AttributeError: 'NoneType' object has no attribute 'text'
が発生して困っています。どうかよろしくお願いいたします。

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
 File "/home/ec2-user/environment/list_maker.py", line 32, in <module>
 phone_number = get_number()
 File "/home/ec2-user/environment/list_maker.py", line 18, in get_number
 shopname = item.select_one('.shopname').text.replace('\n', '')
AttributeError: 'NoneType' object has no attribute 'text'
```

### 該当のソースコード

```python 3.x
import requests
from bs4 import BeautifulSoup

area = input('エリアアルファベットを入力してください:\n')

def get_adress():
 url = 'https://nightstyle.jp/' + area + '/'
 responce = requests.get(url)
 html = responce.text
 soup = BeautifulSoup(html, 'html.parser')
 items = soup.select('.list-item')
 
 iteme_number = 0
 adress_list = []
 
 
 for item in items:
 shopname = item.select_one('.shopname')
 adress = item.select_one('.important')
 adress_list.append(adress)
 print(iteme_number)
 print(shopname)
 print(adress + '\n')
 iteme_number += 1
 
 selected_itme_number = int(input('番号を入力してください\n'))
 selected_adress = int(adress_list[selected_itme_number])
 print(selected_adress)
 return selected_adress

 
shop_adress = get_adress()
```

### 試したこと

他者の同じエラーが出ている質問を見ても、分かりませんでした。

### 補足情報（FW/ツールのバージョンなど）

aws cloud9
python 3.x

スクレイピングアプリ作成中に起きたエラー、'AttributeError: 'NoneType' object has no attribute 'text''について

### 前提・実現したいこと

Pythonを使って指定したサイトのalexaランキングを調べるプログラムを作っています。
URLからclassを指定して、ランキングの情報を取得することはできているのですが、取得した情報から不要な空白などを削除するとエラーが出ます。

### 発生している問題・エラーメッセージ

```
TypeError: expected string or bytes-like object
```

### 該当のソースコード

```Python
import requests
from bs4 import BeautifulSoup
import re

want_URL = 'google.com' #とりあえず、googleにしています

URL = ('https://www.alexa.com/siteinfo/' + want_URL)
res = requests.get(URL)
soup = BeautifulSoup(res.text, "html.parser")

ranking = soup.find('p', class_='big data') #big dateというclassにランキング情報が入っています
ranking = re.sub('[ # ]', ' ', ranking) #ここでspanなど不要な情報を削除
print(ranking.strip() + '位です') #stripでスペースと改行を削除

```

### 試したこと
不要な部分を削除する部分のコードは他のプログラムで動くか確認して、動きました。

ranking = soup.find('p', class_='big data')で不要な部分を含めたランキング情報は取得できています。

### 補足情報（FW/ツールのバージョンなど）
Windows 10
Python 3.9
BeautifulSoup 最新
VScode

Pythonでスクレイピング中、TypeError: expected string or bytes-like object が発生。

jupyter labで問題なく実行されているaaa.ipynbプログラムを、aaa.pyに変換して、
C:\Users\py1>python C:\Users\py1\Desktop\mypandas\aaa.py
を実行したら、
Traceback (most recent call last):
 File "C:\Users\py1\Desktop\mypandas\aaa.py", line 7, in <module>
 get_ipython().system('pip install beautifulsoup4')
NameError: name 'get_ipython' is not defined
のエラーが出ました。同じフォルダ内にある返還前のaaa.ipynbプログラムは問題なく稼働しているので、原因がわかりません。

pythonがget_ipythonのエラーで実行できない

### 実現したいこと
- [1] webスクレイピングで目的の画像のみ取得したい

### 前提
　プログラミング初心者，python3を使用しています．
　現在，webスクレイピングで画像ファイルをダウンロードするプログラミングを書いていますが，目的以外の画像を取得しないようにする方法が知りたいです．

　「イラストや」の様々な日本刀のイラストページに対して，下記コードを実行すると，バナーやサムネイルなどの画像も含んですべて取得してしまいます．
　そこで，日本刀イラスト群のみ(「'div'，class_='entry'」内にあるimgタブのsrc)を抜き出す方法を考えています．
　① soup.find_all('div',class_='entry').find_all('img')
　② soup.find_all('div',class_='entry', 'img')
　③ soup_1=soup.find_all('div',class_='entry')としたあとに，soup_1.find_all('img')とするように，2段階処理を挟むのか(この方法だと最初のメソッドによりリスト化しているのでうまく行かないと思いますが)，悩んでいます．
　もっと簡単に処理できる方法があるならばお教えいただきたいです．よろしくお願いいたします．

### 該当のソースコード

```python312
url='https://www.irasutoya.com/2017/01/blog-post_417.html'
file_dir="C:\\Users\\ユーザー名\\Desktop\\ファイル名"

import time
import os
import requests
from bs4 import BeautifulSoup

def dl_files(url,file_dir):
    res=requests.get(url)
    try:
        res_st= res.raise_for_status()
    except Exception as exc:
        print('Error:{}'.format(exc))
        
    if res_st == None:
        soup= BeautifulSoup(res.text.encode(res.encoding),'html.parser')
###################目的のimgタグはdiv class='entry'の階層内にある
        img_tag= soup.find_all('img')
###################
        for i_t in img_tag:
            img_url= i_t['src']
            if img_url.startswith('http'):
                res_img= requests.get(img_url)
                with open(os.path.join(file_dir,os.path.basename(img_url)),'wb') as f:
                    f.write(res_img.content)
                time.sleep(1)

# dl_files(url,file_dir)を実行する
```

### 試したこと
　google検索をして，find_allの各引数を調べましたが，タグ名(name引数)を2つ設定できるかどうかはよくわかりませんでした．英語検索などはできていません．
　上記のプログラミング自体は一部投稿用に変更していますが，問題なく動作することを確認しています．

Beautiful Soup