python3 スクレイピング テキストだけ取得したい

Question

python3で簡単なスクレイピングをしています。
rowにはランキングのtrタグの全体の値が入っています。

for tr in rows:
    cols = tr.find_all('td')
    for td in cols:
        name = td.find('a')
        text = td.find(text = True)
        print(name)
        print(text)
        data.append(text)

スクレイピングurl
下のように取得してしまうので、m&aキャピタルパートナーズの年収の部分だけ取り出したいです。
また、Noneが出ないようにしたいです。

None

			年収
		

<a href="http://heikinnenshu.jp/kininaru/ma-cp.html">m&aキャピタルパートナーズの年収</a>

None

			1741万円

Answer 1

pandasを使えばもっと簡単にできましたのでサンプルです

import pandas as pd

url = 'http://heikinnenshu.jp/ranking.html'
dfs = pd.read_html(url, index_col=0)

# 結合
df = pd.concat(dfs)

# ヘッダー設定
header = df.iloc[0]
df = df[1:]
df.rename(columns = header, inplace=True)
df.set_index('年収ランキング', inplace=True)

df.head()

df.to_csv('ranking.csv')

Answer 2

import requests
from bs4 import BeautifulSoup

url = 'http://heikinnenshu.jp/ranking.html'

r = requests.get(url)

if r.status_code == requests.codes.ok:
    
    soup = BeautifulSoup(r.content, 'html.parser')
    
    tds = [[td.get_text(strip=True) for td in trs.select('th, td')] for trs in soup.select('div.agetablebox > table > tr')]

    print(len(tds))
    
    print(tds)

ヘッダー含むランク取得のサンプルです。

Answer 3

tds = [[td.get_text(strip=True) for td in tr.find_all('td')] for tr in rows]

条件を外すと全ての企業に対応できました。回答ありがとうございます。

Answer 4

m&aキャピタルパートナーズの年収を取得でよろしいのでしょうか？

tds = [[td.get_text(strip=True) for td in tr.find_all('td')] for tr in rows if 'm&aキャピタルパートナーズ' in tr.get_text()]

# 年収
print(tds[0][1])

trをget_textでテキスト取得、ifで'm&aキャピタルパートナーズ'が含まれるか確認
含まれる場合tdを取得、tds[0][0]に企業、tds[0][1]に年収が取得されます。

Comments

[zwei50333456]

回答ありごうございます。　実装したい内容は1〜500位まである年収ランキングを企業名と年収のカラムで表を作りたいと思っています。よろしくお願いします。
回答のコードを使うとNameError: name 'trs' is not definedが出ました。

[barobaro]

コード間違っていましたので訂正しました。

別回答で投稿します。