Pythonを用いたスクレイピング

Question

pythonを用いたスクレイピングに取り組んでいます
対象のURLをリストとして取得し、http://やhttp://を削除して
新しくリストで書き込もうとしているのですが、変換されません。
どなたかご教授下さい。

もう一つ質問ですが、出力時のタグを取り除く方法はありますか（テキストのみを書き込みたい）

from bs4 import BeautifulSoup
import urllib.request

# URL
url = "https://ichiba.faq.rakuten.net/detail/000009756"
# URLにアクセス 
html = urllib.request.urlopen(url)
# HTMLをBeautifulSoupで扱う
soup = BeautifulSoup(html, "html.parser")
elems = soup.select("#faqDetailAnswer > div > p ")  

#リスト変換
list = []
for a in elems:
 newlist=elems.replace('https://', '').replace('http://', '')
 list.append(newlist)


# 書き込み
with open('test.txt', 'w') as f:
    for d in list:
        f.write("%s\n" % d)

出力結果は以下のとおりです
<br/>http://www.catpart.xyz/<br/>http://www.radioterm.xyz/<br/>http://www.firstpaul.icu/<br/>http://www.oilafrica.icu/<br/>http://www.workyahoo.icu/<br/>http://www.iranma.icu/<br/>http://www.nydesign.icu/<br/>http://www.capitalenough.club/<br/>http://www.cruiseforce.club/<br/>http://www.argentinatechnical.xyz/<br/>http://www.b2bparts.xyz/<br/>http://www.topcare.icu/<br/>http://www.expressview.fun/<br/>http://www.vietnamturn.xyz/<br/>http://www.istanbulor.xyz/<br/>http://www.islamat.xyz/<br/>http://wwwcash.club/<br/>

Comments

[meg_]

質問のコードはエラーが発生しませんか？

[ponponpain_kun]

'NoneType' object is not callable のエラーが出ました

[meg_]

> 出力結果は以下のとおりです
どうやって出力したのでしょうか？？　質問のコードと実行したコードは別では？（この質問は解決済なのでもうどうでも良いかもしれませんが）

Answer 1

#リスト変換の部分を、

lst = []
for a in elems:
    for url in str(a).split("<br/>"):
        url = url.replace('</p>', '').replace('https://', '').replace('http://', '')
        lst.append(url)
````<br/>`で分けてリストにして、`replace`すればいいのではないでしょうか？

Comments

[ponponpain_kun]

変換すると，
for d in list:
TypeError 'type' object is not iterable　のエラー返されました…

[ForestSeo]

listじゃなくてlstです。
listは、Pythonの標準関数名なので、変数名にするのは避けます。