相対URLを絶対URLに変換した後、実行結果で確認したい場合

Question

スクレイピングで取得した相対URLを
絶対URLに変換したいということで
下のコードを書きました

title_urls_list = []
#for文と.extendで作られた相対URLが複数入ったリスト


import urllib.parse

for title_url in title_urls_list:
  urllib.parse.urljoin("https://hogehoge.com", title_url)

こちらのコードはエラーが出ず実行できました。
結合されたか確認したのですが
どういったコードが良いでしょうか？
教えていただけると幸いです。
宜しくお願い致します。

試しに書いてみたコード

title_urls_list = []
#for文と.extendで作られた相対URLが複数入ったリスト

import urllib.parse

urlurl = [] #rulurlというリストを作成

for title_url in title_urls_list:
  urlurl.extend.urllib.parse.urljoin("https://hogehoge.jp", title_url)

print(urlurl)

こういったコードを書いてみましたが

AttributeError                            Traceback (most recent call last)
<ipython-input-20-dda2295f857c> in <module>()
     42 
     43 for title_url in title_urls_list:
---> 44   urlurl.extend.urllib.parse.urljoin("https://hogehoge.jp", title_url)
     45 
     46 print(urlurl)

AttributeError: 'builtin_function_or_method' object has no attribute 'urllib'

こういったエラーが出てしまいました。

Answer 1

関数urllib.parse.urljoinは基底URLと別のURLを受取り組み合わせて絶対URLを作ります。その作られたURLは返り値となります。

絶対URL = urllib.parse.urljoin(基底URL, 相対URL)

返り値は上に示したようにイコール記号を使い変数に代入することができます。

print(urllib.parse.urljoin(基底URL, 相対URL))

また、上に示したように関数の引数にすることもできます。この場合、関数printにurllib.parse.urljoin(基底URL, 相対URL)の返り値が引数として渡されます。結果として__絶対URL__が出力されます。

よって下のようにコーディングすれば期待された結果になります。

# from文を使うことにより関数urllib.parse.urljoinをurljoinとして呼び出せる。
from urllib.parse import urljoin

base_url = "https://hogehoge.com"
title_urls = [] # 相対URLが配列されていると仮定する。
absolute_urls = [] # 絶対URLが配列されるリストを宣言しておく。absoluteは絶対という意味。

for title_url in title_urls:
    # 関数absolute_urls.appendはlist型のメソッド(その型特有の関数)であり、
    # 引数として受け取った値を対象のリストに追加する。
    absolute_urls.append(urljoin(base_url, title_url))

print(absolute_urls)

分かりやすさ優先のため少し厳密さには欠けるので**Pythonの公式ドキュメントを参照することを強くおすすめ**します。

Comments

[dd_]

ご回答ありがとうございます。勉強になりましたありがとうございます。