BeautifulSoupのスクレイピングで表（テーブル）の中の特定の文字を取得したい

Question

前提・実現したいこと

BeautifulSoupのスクレイピングで表の中の特定の文字を取得したい。
取得した文字（作家の名前）をデータベースに登録したい。

テーブルは以下のようなHTMLで構成されています。

<div class="tab-content" id="myTabContent">

                <div id="no9" class="tab-pane fade active in">
                <dl>
                <dt><span class="no">回</span><span class="year">受賞年</span></dt><dd><span class="name">受賞者</span><span class="title head">受賞作</span><span class="magazine ">掲載誌</span></dd>

                <dt><span class="no">160</span><span class="year">2018下</span></dt><dd><span class="name">上田岳弘</span><span class="title">ニムロッド</span><span class="magazine ">群像</span></dd>
                <dt><span class="no">160</span><span class="year">2018下</span></dt><dd><span class="name">町屋良平</span><span class="title">1R<span class="small">（いちらうんど）</span>1分34秒</span><span class="magazine ">新潮</span></dd>
                
                
                </dl>
                </div>

発生している問題・エラーメッセージ

<dd>タグ内にある作者の名前だけを抽出したいのですが、最初の<dd>タグにある「受賞者」という文字列も取得されてしまいます。

<span class="name">という指定も同じなので、作家名だけを抜き出すという指定ができずにおります。

試したこと

find_allなどで引数にいろんな条件を指定してみましたが、いかんせんタグの構成やクラスもまったく同じなので何もできませんでした。

最終的に作家名をデーターベースに登録できればいいのですが、他の方法などがあれば合わせてご教授願います。

Answer 1

find_all() の返り値のリストの1個目を tags[1:] として無視すればよいのではないでしょうか。

html = '''<div class="tab-content" id="myTabContent">
    <div id="no9" class="tab-pane fade active in">
        <dl>
            <dt><span class="no">回</span><span class="year">受賞年</span></dt>
            <dd><span class="name">受賞者</span><span class="title head">受賞作</span><span class="magazine ">掲載誌</span></dd>
            <dt><span class="no">160</span><span class="year">2018下</span></dt>
            <dd><span class="name">上田岳弘</span><span class="title">ニムロッド</span><span class="magazine ">群像</span></dd>
            <dt><span class="no">160</span><span class="year">2018下</span></dt>
            <dd><span class="name">町屋良平</span><span class="title">1R<span class="small">（いちらうんど）</span>1分34秒</span><span class="magazine ">新潮</span></dd>
        </dl>
    </div>
</div>'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
tags = soup.find_all('span', class_='name')[1:]

names = [t.text for t in tags]
print(names)  # ['上田岳弘', '町屋良平']

Comments

[退会済みユーザー]

やってみたところ抽出できました。ありがとうございます！

ちなみに、tags[1:]というのはどういった指定方法なのでしょうか？今後の参考にしたいので、可能であればご教授いただきたいです。

加えて、[t.text for t in tags]　というのが for文だというのはわかるのですが、先頭をt.text とすることでどのような式展開になるのでしょうか？

[tiitoi]

tags[1:] はスライスという機能
https://note.nkmk.me/python-slice-usage/

[t.text for t in tags]
の [x for x in lst] は内包記法
https://note.nkmk.me/python-list-comprehension/

どちらも Python 言語のとても重要な機能なので、ご存知ない場合はスクレイピングなど実践的なことに取り組む前に言語の基礎を勉強することをおすすめします。

t.text はタグ配下のテキストを取得する attribute です。
<b>test</b> というタグがあったとき、tag が b タグを表しているとすると、print(b.text) # 'test'

[退会済みユーザー]

解説ありがとうございます！とても勉強になりました。
あらためて基礎からやりたいと思います。