小説家になろうからのPythonを利用してのデータ取得について

Question

前提・実現したいこと

小説家になろうのランキングからタグを取得する事はできないかなと試行錯誤しています
プログラミングはほぼ未経験のため初歩的な質問でしたらすみません

発生している問題・エラーメッセージ

findやselect_oneで取得するとHTMLタグを除去できるが
find_allやselectだと除去できない

AttributeError: 'str' object has no attribute 'text'

AttributeError: 'str' object has no attribute 'text'

該当のソースコード

import requests
from bs4 import BeautifulSoup
import csv

headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}

html = requests.get('https://yomou.syosetu.com/rank/list/type/monthly_total/',headers=headers)
#print(html.content)
#print(html.encoding)

pars = BeautifulSoup(html.content,"html.parser")
keyword = pars.select("td.keyword")

#keyword = keyword.find_all('a')

mappedword = map(str,keyword)
keyword =','.join(mappedword)

print(keyword.text)

試したこと

selectやfind_allの場合は配列になるとみたのでmapなどを利用しstrにしてみたがうまく動かない
ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

Pythonのバージョンは3.8.6でVisual Studio Codeを利用しています

Answer 1

根本的な方針のことなので質問とはズレるのですが、勉強目的とかでないならスクレイピングせずになろうAPI使うべきですよ。

なろう小説API

たとえばこのようにすれば総合ランキングのタグだけを取得できますし、形式もyaml以外にもjsonなどが指定できます。pythonならjsonの方が扱いやすいです。

Comments

[suzukiolol]

一応勉強目的でPythonを利用してみました！
例として頂いたURLみましたがこんなにも便利なんですね・・・
なろう関連はこちらを利用したほうが間違いなさそうです。
ご回答ありがとうございます。

Answer 2

keyword はすでに文字列ですので、そのままprintすれば内容を確認できます。

print(keyword)

なお、findやselect_oneと、find_allやselectとの違いは、単一のDOMノードを取得するかリストで取得するかの違いです。リストの中の１つ１つはfindやselect_oneと同じですので、同じ操作が可能です。

Comments

[suzukiolol]

ごめんなさい私が何をしたいのかが変えていませんでした。
このkeywordからHTMLタグを除去して純粋なタグだけを集めたいのですがfind_allにすると
keyword = pars.select("td.keyword").textが動作しません
これがkeyword = pars.select_one("td.keyword").textなら動作します

[gasbombe]

そういうことなんですね。

まず、～.textというのを、「HTMLタグを除去する操作」だと考えてはいけません。
select_one()で取得されるのは、1つのHTMLタグに対応した特殊なオブジェクト（≠文字列）です。
このオブジェクトに.textというメンバがあるから、.textで内容のテキストが取得できます。

select()で取得されるのは、上記オブジェクトのリストです。
.textのように内容のテキストを取得したいのであれば、リスト内の各オブジェクトに対して、.textを見てやる必要があります。

keyword_list = [] ###文字列のリスト（空）を用意
keyword_obj_list = pars.select("td.keyword") ###オブジェクトのリストを取得
for keyword_obj in keyword_obj_list: ###個別のオブジェクトを処理する
keyword = keyword_obj.text ###文字列を取得
keyword_list.append(keyword) ###文字列のリストに追加
result_text = ','.join(keyword_list) ### カンマ区切りで文字列のリストを結合し、１つの文字列に
print(result_text) ###表示

[gasbombe]

インデントが消えてしまってますが、for の下2行はインデントしてください。

[suzukiolol]

まず、～.textというのを、「HTMLタグを除去する操作」だと考えてはいけません。
select_one()で取得されるのは、1つのHTMLタグに対応した特殊なオブジェクト（≠文字列）です。
このオブジェクトに.textというメンバがあるから、.textで内容のテキストが取得できます。
上記の説明で理解が一気に進みました！コードも無事動作いたしました
質問の仕方さえぐだぐだなかでご丁寧な回答ありがとうございます。