Coraboratory Python Webスクレイピング

<h1 class="mainvisual_title">あいうえお</h1>
<p class="mainvisual_category">かきくけこ</p>

あるwebサイトの「あいうえお」「かきくけを」を抜き取りたいのですが、titleからxpathをコピーすると順番が逆になり余計なものが入ってきてしまう為、
copy selectorで試してみました。

print(soup.select("#wrap > div.contents.entries_wrap > div.main.js-contents-top > div.mainvisual._a.pb60 > div > div.mainvisual_main > p.mainvisual_category"))
print(soup.select("#wrap > div.contents.entries_wrap > div.main.js-contents-top > div.mainvisual._a.pb60 > div > div.mainvisual_main > h1"))

結果、以下のように希望通り文字は抜き取れたのですが、

<p class="mainvisual_category">と[<h1 class="mainvisual_title">が不要です。

[<p class="mainvisual_category">あいうえお</p>]
[<h1 class="mainvisual_title">かきくけこ</h1>]

いろいろ試してもうまくいかないので、詳しい方、ご教示いただきたくよろしくお願いいたします。

行動規範の内容に同意します

回答1件

ベストアンサー

soup.selectを使うと質問にあるようにタグ付きでリストで返ってきます。抜き取りたいものが一つだけの場合はsoup.select_oneを使うようにして、get_text()でテキストだけにするといいです。テキストだけにする処理をtextプロパティを使っているケースが多いようですが、公式ドキュメントにはget_text()の方だけしか記載がないようなのでget_text()にしておきました。

python
1print(soup.select_one("#wrap > div.contents.entries_wrap > div.main.js-contents-top > div.mainvisual._a.pb60 > div > div.mainvisual_main > p.mainvisual_category").get_text())
2print(soup.select_one("#wrap > div.contents.entries_wrap > div.main.js-contents-top > div.mainvisual._a.pb60 > div > div.mainvisual_main > h1").get_text())

投稿2019/03/19 16:35

編集2019/03/19 16:36

YasuhiroNiji

総合スコア584

退会済みユーザー

2019/03/20 04:52

ありがとうございます。何時間やってもうまくいかず、すごく勉強になりました。

退会済みユーザー

2019/03/21 05:30

行き詰ってしまい、もしおわかりになればご教示いただきたいのですが、この出力した内容をスプレッドシートに出力したいです。 worksheet.update_acell('A1', '****')の形ですと、***の文字は表示されますが、soup.select_oneを引っ張ってくるにはどのようにしたらよいのでしょうか？

行動規範の内容に同意します