Python BeautifulSoupを使用したスクレイピング

Question

実案件でのスクレイピング学習を行なっています。

このURLのページで表示されている、"会社名"を抽出したいです。

会社名が記載されているHTMLコードはこのようになっており、これをもとに現在下のようなコードを書いてみました。
しかし、会社名が記載されている<span>タグがその下の"NEW"と"締め切り間近"にもかかっている為、
表示結果として、画像のようになってしまいます。

これを踏まえて、会社名のみを抽出したい場合どのようなコードに修正すればよかったでしょうか、ご教授いただけますでしょうか。

from time import sleep
import pandas as pd
import requests
from bs4 import BeautifulSoup
import re

url = 'https://doda.jp/DodaFront/View/JobSearchList.action?ss=1&pr=13&pic=1&ds=0&oc=0112M%2C0113M%2C010401S%2C010402S%2C010404S&so=50&tp=1'
r = requests.get(url)

soup = BeautifulSoup(r.content , 'lxml')
post_first = (soup.find('section' , id="shStart" , class_="mainRight"))


for div in post_first.find_all('span' , 'company' , 'width688'):
    print(div.text)

Answer 1

以下でいかがでしょうか。

for div in post_first.find_all('span', class_='company width688'):
    print(div.contents[0])

　

【結果】
アデコ株式会社
株式会社TMJ（セコムグループ）
Ｔａｌｋｎｏｔｅ株式会社
ヤフー株式会社
（中略）
プロイク株式会社
株式会社Ｃ－ｍｉｎｄ
株式会社ＬＩＦＥ　ＳＯＵＮＤ
株式会社ハンデックス

Comments

[oasi]

ありがとうございます！
希望通りの動作をしてくれました。
解釈としては、<span class="company width688">の子要素ということでcontents使用、
その中からインデックス番号指定という意味で[0]を使用、
ということでよろしかったでしょうか...。

[_whitecat_22]

解釈は仰る通りです！

お役に立てて嬉しいです^^