スクレイピング実行時のjavascript:void(0)

Question

前提・実現したいこと

求人サイトのエン転職をスクレイピングしているときです。
目的は企業のurlと企業名の取得です。
参考：リンク内容
と企業名の取得はできましたが、
urlを取得しようとすると以下が出力されました。

発生している問題・エラーメッセージ

============================== 0 ==============================
株式会社グロップ（グロップグループ）
javascript:void(0)
============================== 1 ==============================
株式会社グロップ（グロップグループ）
javascript:void(0)
============================== 2 ==============================
株式会社ウィルオブ・ワーク（ウィルグループ）
javascript:void(0)

該当のソースコード

from bs4 import BeautifulSoup
import requests
import pandas as pd
from time import sleep

base_url = 'https://employment.en-japan.com/search/search_list/?areaid=23_24_21_50&occupation=101000_102500_103000_103500_104500_105000_105500_109000&aroute=1&pagenum=1&arearoute=1'
d_list = []
for i in range(1, 23):
    url = base_url.format(i)
    r = requests.get(url, timeout=3)
    sleep(3)
    
    r. raise_for_status()
    
    soup = BeautifulSoup(r.content, 'lxml')
    companies = soup.find_all('div', class_='unitBase')
    
    for i, company in enumerate(companies):
        print('='*30, i, '='*30)
        company_name = company.find('span', class_='company').text
        page = company.find('a', class_='toDesc').get('href') 
        print(company_name)
        page_url = 'https://employment.en-japan.com/' + page
        
        sleep(2)
        
        page_r = requests.get(page_url, timeout=3)
        page_r.raise_for_status()
        
        page_soup = BeautifulSoup(page_r.content, 'lxml')
        company_url = page_soup.find('a', class_='previewOption')
        
        if company_url:
            company_url = company_url.get("href")
            print(company_url)
        else:
            print('特殊ページ：')
            company_url = soup.select_one('.companyTable > tbody > tr:nth-of-type(3) > td > a').get('href')
            
            
        d_list.append({
            'company_name': company_name,
            'company_url': company_url
        }) 
        
df = pd.DataFrame(d_list)
df.to_csv('company_en', index='None', encoding='utf-8-sig')

試したこと

seleniumを使ったほうがいいかもしれないと思いやってみましたが、
自分では解決には至りませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[melian]

a 要素の href 属性ではなく text に URL が書かれていますので、
company_url = company_url.text
としてみてはどうでしょうか。

[53243]

回答ありがとうございます。
浅い考えでコーディングしてすいません。
これで一部のurlは取得できましたが、５つ目から以下のようにAttributeErrorが出てしまいました。
.textもやってみましたが、何も変わりませんでした。
seleniumを使えということでしょうか？
Traceback (most recent call last):
File "c:/Users/genge/Desktop/python_practice/lesson9.py", line 38, in <module>
company_url = soup.select_one('.companyTable > tbody > tr:nth-of-type(3) > td > a').get('href')
AttributeError: 'NoneType' object has no attribute 'get'

[melian]

特殊ページの方は動的に生成されている様なので、確かに selenium を使う方が適切かもしれませんね。

[53243]

seleniumで各urlにアクセスしてから、ページのHTMLを取得する。
そのあとにHTMLをスクレピングするべきなのでしょうか？

[melian]

回答に書きましたが、selenium を使わなくても情報は取れそうです。ただ、最初のページでしか動作確認をしていませんので、2ページ目以降でなんらかのエラーが発生するかもしれません。

[53243]

ご丁寧な説明ありがとうございます。

Answer 1

すみません、特殊ページの方は動的に生成されているのではなく、iframe(インラインフレーム)の中にありました。なので、以下の様にすると必要な情報を取得できるのですが、企業によっては iframe が無かったり、WEB サイトの記載が無い事があって、それらの場合は「WEBサイト不明」としています。

        page_soup = BeautifulSoup(page_r.content, 'lxml')
        company_url = page_soup.find('a', class_='previewOption')
        
        if company_url:
            company_url = company_url.text
            print(company_url)
        else:
            company_url = page_soup.select_one('#recruitFrame')
            if company_url:
                company_url = company_url.get('src')
                company_page = requests.get(company_url, timeout=3)
                company_soup = BeautifulSoup(company_page.content, 'lxml')
                company_url = company_soup.select_one('.companyTable > tbody > tr:nth-of-type(3) > td > a')
                if company_url:
                    company_url = company_url.text
                else:
                    company_url = 'WEBサイト不明'
            else:
                company_url = 'WEBサイト不明'

            print(f'特殊ページ：{company_url}')
            
        d_list.append({
            'company_name': company_name,
            'company_url': company_url
        })