質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
CSS3

CSS(Cascading Style Sheet)の第3版です。CSS3と略されることが多いです。色やデザインを柔軟に変更することが可能になります。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

CSS

CSSはXMLやHTMLで表現した色・レイアウト・フォントなどの要素を指示する仕様の1つです。

Q&A

解決済

1回答

2677閲覧

bs4でCSS selectの仕方がわかりません

退会済みユーザー

退会済みユーザー

総合スコア0

CSS3

CSS(Cascading Style Sheet)の第3版です。CSS3と略されることが多いです。色やデザインを柔軟に変更することが可能になります。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

CSS

CSSはXMLやHTMLで表現した色・レイアウト・フォントなどの要素を指示する仕様の1つです。

0グッド

0クリップ

投稿2020/11/17 08:35

前提・実現したいこと

このWikipediaページから受賞理由のカラムの内容を(全年度)pythonのbs4で抽出したいです。

発生している問題・エラーメッセージ

NotImplementedError Traceback (most recent call last) <ipython-input-27-9c2fd27fc558> in <module>() ----> 1 table = soup.select('tbody > tr > td:nth-child(3)') 2 3 # table.wikitable:nth-child(5) > tbody:nth-child(1) > tr:nth-child(2) > td:nth-child(3) 4 print(table) 5 2 frames /usr/local/lib/python3.6/dist-packages/bs4/element.py in select(self, selector, _candidate_generator, limit) 1526 else: 1527 raise NotImplementedError( -> 1528 'Only the following pseudo-classes are implemented: nth-of-type.') 1529 1530 elif token == '*': NotImplementedError: Only the following pseudo-classes are implemented: nth-of-type.

該当のソースコード

import requests, bs4 url = 'https://ja.wikipedia.org/wiki/%E3%82%A4%E3%82%B0%E3%83%8E%E3%83%BC%E3%83%99%E3%83%AB%E8%B3%9E%E5%8F%97%E8%B3%9E%E8%80%85%E3%81%AE%E4%B8%80%E8%A6%A7' res= requests.get(url) # print(res) soup = bs4.BeautifulSoup(res.text,'html.parser') # print(soup) table = soup.select('tbody > tr > td:nth-child(3)')

試したこと

Firefoxの検証ツールにて該当のカラムは
'/html/body/div[3]/div[3]/div[5]/div[1]/table[1]/tbody/tr[3]/td[2]'
にあることがわかったのですが、

そのまま

table = soup.select('/html/body/div[3]/div[3]/div[5]/div[1]/table[1]/tbody/tr[3]/td[2]')

としても

Unsupported or invalid CSS selector: "/html/body/div[3]/div[3]/div[5]/div[1]/table[1]/tbody/tr[3]/td[2]"

とエラーが出てしまいます。(これがxpathであることは今調べたらわかったのですが、)
どのようにcss_pathを入力したら、該当の全年度の分の受賞理由内容を抽出できますか?

補足情報(FW/ツールのバージョンなど)

Colaboratoryを使って抽出しようとしてます。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

td:nth-of-type(2) ではいかがでしょうか?

手元のbs4なら提示された書き方でも動いたのですが、Colaboratoryのものは nth-childに対応していないようで、nth-of-typeなら使えるよというメッセージが出ています。
(Only the following pseudo-classes are implemented: nth-of-type.)

それに合わせてあとはいじればいいのではないでしょうか。

投稿2020/11/17 08:46

tetsunosuke

総合スコア1295

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tetsunosuke

2020/11/17 08:47

table = soup.select('tbody > tr > td:nth-of-type(2)') print(table) した結果です(前半のみ) [<td><a href="/wiki/%E6%B0%B4" title="水">水</a>が知性を持った<a href="/wiki/%E6%B6%B2%E4%BD%93" title="液体">液体</a>であるという事を執拗に「発見」するとともに、 <p>水はある出来事の痕跡が完全に消滅した後で、<br/>しばらく経ってもそれを覚えていられるという、彼のお気にめす結果を立証したことに対して。 </p> </td>, <td>膨張感・<a href="/wiki/%E5%B1%81" title="屁">おなら</a>・不快感ならびに気恥ずかしさを防ぐための「対ガス液」を用いた、彼の先駆的な仕事に対して。 </td>, <td>科学教育の必要性を誰よりもよく論証したことに対して。 </td>, <td><a href="/wiki/%E3%83%8E%E3%83%BC%E3%83%99%E3%83%AB%E8%B3%9E" title="ノーベル賞">ノーベル賞</a>受賞者と<a href="/wiki/%E8%BF%91%E4%BB%A3%E3%82%AA%E3%83%AA%E3%83%B3%E3%83%94%E3%83%83%E3%82%AF" title="近代オリンピック">オリンピック</a>出場者からのみの提供を受け入れる<a href="/wiki/%E7%B2%BE%E5%AD%90%E3%83%90%E3%83%B3%E3%82%AF" title="精子バンク">精子バンク</a>「<a href="/wiki/%E8%83%9A" title="胚">胚</a>選択のための倉庫」の先駆的な発展に対して。 </td>, <td>世界中の人が彼の<a href="/wiki/%E8%B2%A0%E5%82%B5" title="負債">世話になった</a>ため<sup class="reference" id="cite_ref-1"><a href="#cite_note-1">[1]</a></sup>。 </td>, <td>
退会済みユーザー

退会済みユーザー

2020/11/17 09:16

ありがとうございました!無事解決しました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問