スクレイピングで取得したurlが、全て繋がって表示されてしまう。

Question

html= requests.get("https://www.springfieldspringfield.co.uk/latest-movie-scripts.php?page=1").text
soup=BeautifulSoup(html,"html.parser")
links=soup.find_all("a")
urls=""

for link in links:
    url=link.get("href")
    print(url)

により取得されたurl群に
１、"/movie_script.php?movie"を持つurlのみを抜き出す。
２、urlの先頭に"https://www.springfieldspringfield.co.uk"を付け加える
という動作をさせたく

for link in links:
    url=link.get("href")
    if url.find("/movie_script.php?movie") > -1 :
        urls +="https://www.springfieldspringfield.co.uk"+url

print(urls)

という構文を付け加えました。

その結果が、
"https://www.springfieldspringfield.co.uk/movie_script.php?movie=badhaai-hohttps://www.springfieldspringfield.co.uk/movie_script.php?movie=badhaai-hohttps://www.springfieldspringfield.co.uk/movie_script.php?movie=fantastic-beasts-the-crimes-of-,,,,"

といったように全てのurlが繋がって表示されてしまいました。

結果を
"https://www.springfieldspringfield.co.uk/movie_script.php?movie=badhaai-ho"
"https://www.springfieldspringfield.co.uk/movie_script.php?movie=badhaai-ho"
のように一つ一つurlを分けて表示するためにはどうすれば良いでしょうか？

よろしくお願いします。

Answer 1

リストを使うのが安直な方法かと思います。

urls = []

for link in links:
    url = link.get("href")
    if url.find("/movie_script.php?movie") > -1 :
        urls.append("https://www.springfieldspringfield.co.uk" + url)

for url in urls:
    print(url)

また、find(...) > -1はin演算子を用いて書き直した方が分かり易いかと。

if "/movie_script.php?movie" in url:
    ...

Comments

[maron1220]

丁寧な回答で、補足情報までありがとうございます！

Answer 2

request-htmlならabsolute_linksでリンクを取得できます

pip install requests-html

from requests_html import HTMLSession
session = HTMLSession()

r = session.get(
    'https://www.springfieldspringfield.co.uk/latest-movie-scripts.php?page=1')

result = [i for i in r.html.absolute_links if r'/movie_script.php?movie' in i]

print(result)

Comments

[maron1220]

そんなライブラリがあるんですね！

ありがとうございます！！

Answer 3

urls +=とurlsの後ろにどんどん継ぎ足しているので、そうなります。

for link in links:
    url=link.get("href")
    if url.find("/movie_script.php?movie") > -1 :
        print("https://www.springfieldspringfield.co.uk"+url)

と、継ぎ足さずにprintすれば良いかと思います。

Comments

[maron1220]

ありがとうございます！助かります！