python_'NoneType' object has no attribute 'find'_スクレイピングでループできない

Question

実現したいこと

一つのURL(OpenURL=親URL)を入力すると、そのURL内にあるリンク先を全て取得する。
なお、取得するURLは親URLを含んでいる(外部リンクのURLは取得しない)。
この操作を、全てのリンク先のURLで行い、
結果的に親URLに紐づく子URL全てを取得することが出来る。

発生している問題・分からないこと

while処理中、i=1となったときに
「if url.find(OpenURL)==0:」の箇所で
'NoneType' object has no attribute 'find'
のエラーが発生する

該当のソースコード

#https://programmer-life.work/python/get-child-href
import requests, bs4
import re

#https://atmarkit.itmedia.co.jp/ait/articles/2401/30/news027.html
def remove_repetition(iterable):
    result = []
    for item in iterable:
        if item not in result:
            result.append(item)
    return result

OpenURL='https://tonari-it.com'
res = requests.get(OpenURL)
OutputToCSV=[OpenURL]

i=0
while True:
    soup = bs4.BeautifulSoup(requests.get(OutputToCSV[i]).text, "html.parser")
    list=[]
    for element in soup.find_all("a"):
        url = element.get("href")
        if url.find(OpenURL)==0:
            list.append(url)
    list=remove_repetition(list)
    OutputToCSV.extend(list)
    OutputToCSV = remove_repetition(OutputToCSV)
    if len(OutputToCSV)>100:#強制的に停止する数
        OutputToCSV.append("continue")
        break
    if OutputToCSV[i]==OutputToCSV[-1]:#末尾まで来たらBraek
        break
    i+=1
    
    
print(OutputToCSV)

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

1. 親URLを別のURL(https://tonari-it.com/profile/)に変更したところ、i=0のタイミングでも同様のエラーが発生した
2. time.sleep(10)を処理途中に追加しても同様の事象が発生した

補足

特になし

Comments

[melian]

href 属性を持たない a 要素があるのだと思います。その様な a 要素はスキップして次の要素に進むとよいかと。

for element in soup.find_all("a"):
　url = element.get("href")
　if url is None: continue # href 属性を持たない a 要素はスキップ
　if url.find(OpenURL)==0:
　　list.append(url)

[MTL]

解決しました！！！！！ありがとうございます！！！！
これは質問と外れてしまうのですが
この事象を考えると、もともと親URLで指定していた「https://tonari-it.com」には
hrefを持たないa要素がないため
たまたまi=0は通ってしまった
ということになるのでしょうか？
(該当URLのHTMLをちゃんと調べたわけではないので、状況から推察するに……ですが)

[melian]

> hrefを持たないa要素がないためたまたまi=0は通ってしまった

はい、その通りです。

Answer 1

melianさんに記載いただきました

href 属性を持たない a 要素があるのだと思います。その様な a 要素はスキップして次の要素に進むとよいかと。
引用テキスト
for element in soup.find_all("a"):
url = element.get("href")
if url is None: continue # href 属性を持たない a 要素はスキップ
if url.find(OpenURL)==0:
list.append(url)