href属性のemailアドレスを取得したいです。

Question

前提・実現したいこと

https://tenshoku.mynavi.jp/jobinfo-99260-1-78-1/
こちらのサイトのemailアドレスを取得したいです。

発生している問題・エラーメッセージ

エラーメッセージはありませんが、このサイトのemailアドレスを取得しようとしてもNoneが返ってきます。

該当のソースコード

from bs4 import BeautifulSoup
from selenium import webdriver
import requests
from urllib.parse import urljoin
import time

url_list = []


for n in range(1, 2):
    url = f"https://tenshoku.mynavi.jp/search/list/?pageNum={n}"

    res = requests.get(url)
    res.raise_for_status()
    soup = BeautifulSoup(res.text, "html.parser")
    for i in soup.find_all("a", class_='linkArrowS', text="詳細を見る"):
        elem = urljoin(url, i.get("href")).replace("/msg/", "/")

        # url_listに格納
        url_list.append(elem)


driver = webdriver.Chrome(executable_path='chromedriver')
for m in url_list:
    driver.get(m)
    res = requests.get(m)
    res.raise_for_status()
    soup = BeautifulSoup(res.text, "html.parser")
    for k in soup.find_all("td", class_='email'):
        print(k.get("href"))

emailがないページでNoneが返ってくるのはわかりますが、emailがあるサイトでNoneになるのがなぜなのっかわかりません。
タグの指定の仕方が
悪いのでしょうか？

どなたかお願いします。。

Comments

[otn]

Noneが返ってくるというのは、どこの文のことですか？

[yudai109]

１ページずつ開きながら、メールアドレスを取得していて、

現状、
メールアドレスの記載のあるページではNoneが返ってきて、
メールアドレスのないページだと何も返ってこないで飛ばされます。

[yudai109]

<td class="jobOfferTable__body email">
<a href="mailto:[e-mail]">[e-mail]</a></td>
このタグの中にあるアドレスのみ抜き出したいのですが、どうすればいいのでしょうか。。

Answer 1

kはtdタグで、tdタグにhref属性は無いです。aタグを見ましょう。

Comments

[yudai109]

aタグにclassなど、指定する物がない場合、どのように取得すれば良いのでしょうか？？

[otn]

指定して得たtdタグの下のaタグと、相対的に指定します。
k.find("a")

[yudai109]

# スクレイピングの後にサイト開きまくる
from bs4 import BeautifulSoup
from selenium import webdriver
import requests
from urllib.parse import urljoin
import time
import re

url_list = []
# email_regex = r"[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+.[a-zA-Z0-9-.]+"

for n in range(1, 2):
url = f"https://tenshoku.mynavi.jp/search/list/?pageNum={n}"

res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")
for i in soup.find_all("a", class_='linkArrowS', text="詳細を見る"):
elem = urljoin(url, i.get("href")).replace("/msg/", "/")

# url_listに格納
url_list.append(elem)

driver = webdriver.Chrome(executable_path='chromedriver')
for m in url_list:
driver.get(m)
res = requests.get(m)
res.raise_for_status()
time.sleep(2)
soup = BeautifulSoup(res.text, "html.parser")
for k in soup.find_all("td", class_='email'):
time.sleep(2)
print(k.find("a"))

こちらのコードで実行したところ、
emailアドレスないサイトでは何も出力されず、
emailアドレスのあるサイトではNoneと出力されました。。

aタグが取得できていないと言うことでしょうか？？

[otn]

k.find("a") だとaタグ自体なので、
print(k.find("a").get("href"))
では？

途中段階も確認しましょう。
for k in soup.find_all("td", class_='email'):
print("tdタグ ", k)
print("aタグ ", k.find("a"))
print("href ", k.find("a").get("href"))

[yudai109]

(base) hiranohiroshidainoMacBook-Air:python yudai$ python minav_email_get.py
tdタグ <td class="jobOfferTable__body email">
</td>
aタグ None
Traceback (most recent call last):
File "minav_email_get.py", line 35, in <module>
print("href ", k.find("a").get("href"))
AttributeError: 'NoneType' object has no attribute 'get'

こちらのエラーが出ました。。。
tdタグは取得できているようですが、その中に含まれているaタグが取得できていないようですね。。

なぜなのでしょうか。。
お時間をとっていただきありがとうございます。。
よろしくお願い致します。

[otn]

後半はseleniumを使っていると思っていたら、seleniumは無関係で、
res = requests.get(m)
の結果を見てるんですね。これはだめです。
seleniumの使い方を学習してseleniumの結果を見ましょう。

[otn]

for x in driver.find_elements_by_css_selector("td.email"):
print(x.find_element_by_tag_name("a").get_attribute("href"))
ですかね。

[yudai109]

seleniumを使えば良かったのですね。。
どこで何を使っているのか、自分の中でもぐちゃぐちゃになっていました。

しっかり勉強します！
ありがとうございます！！

Answer 2

メールアドレスがJavascriptで生成されているためJavascriptをレンダリングしてからスクレイピングをすればいい

driver.get('https://tenshoku.mynavi.jp/jobinfo-99260-1-78-1/')

html = driver.page_source.encode('utf-8')

driver.quit()

soup = BeautifulSoup(html, "html.parser")

print(soup.select_one(".email > a").get("href"))

メールアドレス生成部分

	$(function(){
		var jobOfferTableEmailObj = $(".email");

		if(jobOfferTableEmailObj.length == 0){
			return;
		}

		var emailCharArray = '104,111,116,116,97,45,103,114,111,117,112,64,104,111,116,116,97,45,103,114,111,117,112,46,99,111,46,106,112'
		var emailIntArray = emailCharArray.split(',').map(function(item) {
		    return parseInt(item);
		});
		var strEmail = String.fromCharCode.apply(this, emailIntArray);
		var mailtoObj = "<a href='mailto:"+ strEmail +"'>"+ strEmail +"</a>";
		jobOfferTableEmailObj.append(mailtoObj);
	});

メールアドレス変換確認

c = '104,111,116,116,97,45,103,114,111,117,112,64,104,111,116,116,97,45,103,114,111,117,112,46,99,111,46,106,112'

"".join([chr(i) for i in map(int, c.split(","))])

# 結果
# '[e-mail]'

Comments

[yudai109]

こちらでもできました！
ありがとうございます！！

javascriptを使ったスクレイピングの勉強の機会にもなりました！
ありがとうございました！