pythonのBeautifulSoupでhtmlの<a>タグから絶対URLだけを抽出する方法は有りますか？

Question

pythonのBeautifulSoupを利用し、特定のwebページ内のリンクのURLを全て表示したいのですが、相対パスを使っているwebページだと、相対パスまで表示されてしまいます。

コード

from urllib import request
from bs4 import BeautifulSoup

url=request.urlopen("調べたいURL")
soup = BeautifulSoup(url,"html.parser")
for i in soup.find_all("a"):
    print(i.get("href"))

実行例
http://hogehoge~
/hoge1/hoge2/hoge3
http://hogehoge~

htmlの<a>の<href>要素の絶対パスだけを抽出する方法ってありますか？
文字列メソッドのfindを使って力技で解決する方法も考えたんですがもっとシンプルなやり方はないですかね？

for i in soup.find_all("a"):
    if str(i).find("http")>0:
        print(i.get("href"))

Answer 1

Pythonのurllibライブラリに用意されているurljoin関数を使うと簡単に実現できると思います

http://stackoverflow.com/questions/17972496/using-beautiful-soup-to-get-the-full-url-in-source-code

from urllib import request
from bs4 import BeautifulSoup
from urllib.parse import urljoin

base_url = "調べたいURL"
html = request.urlopen(base_url)
soup = BeautifulSoup(html,"html.parser")
for i in soup.find_all("a"):
    print(urljoin(base_url, i.get("href")))

Comments

[black9]

ありがとうございました！　これなら相対パスも絶対パスにできていいですね