前提・実現したいこと

スクレイピングで、a要素のhrefを取り出し、配列の文字にある'msg/'の文字を取り除いて表示したいです。
https://tenshoku.mynavi.jp/search/list/
上記のサイトにある「▶︎詳細をみる」にあるhrefを取り出したいと考えています。

現状、スクレイピングすることはできていいますが、要素が2つずつスクレイピングされてしまいます。
なぜなのかわからないため、教えていただきたいです。

最後の数字の部分が2ずつ出力されてしまいます。

発生している問題・エラーメッセージ

https://tenshoku.mynavi.jp//jobinfo-248825-1-4-1/?ty=rzs&searchId=1209225192&pageNum=1&showNo=1
https://tenshoku.mynavi.jp//jobinfo-248825-1-4-1/?ty=rzs&searchId=1209225192&pageNum=1&showNo=1
https://tenshoku.mynavi.jp//jobinfo-220100-1-31-1/?ty=rzs&searchId=1209225192&pageNum=1&showNo=2
https://tenshoku.mynavi.jp//jobinfo-220100-1-31-1/?ty=rzs&searchId=1209225192&pageNum=1&showNo=2
https://tenshoku.mynavi.jp//jobinfo-184770-1-48-1/?ty=rzs&searchId=1209225192&pageNum=1&showNo=3
https://tenshoku.mynavi.jp//jobinfo-184770-1-48-1/?ty=rzs&searchId=1209225192&pageNum=1&showNo=3
https://tenshoku.mynavi.jp//jobinfo-161900-1-281-1/?ty=0&searchId=1209225192&pageNum=1&showNo=4
・
・
・

該当のソースコード

python
1from bs4 import BeautifulSoup
2import requests
3
4res = requests.get('https://tenshoku.mynavi.jp/search/list/')
5res.raise_for_status()
6soup = BeautifulSoup(res.text, "html.parser")
7elems = soup.select('.linkArrowS')
8
9for elem in elems:
10    elem_rink = elem.get('href')
11    if 'msg/' in elem_rink:
12        elem_rp = elem_rink.replace('msg/', '')
13        print('https://tenshoku.mynavi.jp/' + elem_rp)
14    else:
15        print('https://tenshoku.mynavi.jp/' + elem_rink)
16

試したこと

・elseを外した。

補足情報（FW/ツールのバージョンなど）

ifの条件がtrueの時はifの中身が実行されてelseの中身が実行されず、繰り返し処理をすると思っているのですが、間違っているのでしょうか？

行動規範の内容に同意します

回答3件

find_allだとstringでテキストを抽出対象にできます

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#the-string-argument

URLはurljoinで結合しています

python
1from bs4 import BeautifulSoup
2import requests
3from urllib.parse import urljoin
4
5url = "https://tenshoku.mynavi.jp/search/list/"
6
7res = requests.get(url)
8res.raise_for_status()
9
10soup = BeautifulSoup(res.content, "html.parser")
11
12for i in soup.find_all("a", class_="linkArrowS", string="詳細を見る"):
13    print(urljoin(url, i.get("href")).replace("/msg/", "/"))

投稿2019/11/01 02:30

barobaro

総合スコア1286

ベストアンサー

そもそも何が起こっているか

ブラウザでこのサイトの画面を開いたら
どこか適当なところで右クリックをして検証をクリックし、開発者ツールを開いてください。

上の方にElements, Console, Sources...とありますが、
このうちConsoleを選んでください。
そしてそこにjsを打ち込み、エンターキーを押下します。

JavaScript
1document.getElementsByClassName('linkArrowS')[i]

iには数字を代入してください0, 1, 2, 3, 4...といった具合です。

すると「企業からのメッセージを見る」と「詳細を見る」が交互に現れていると思います。
そしてこの2つ、href属性が全く同じであることを確認してください。

あなたはclass属性がlinkArrowSの要素を全て取り出していたので、
この両方のタグを上から順番に処理していったため、
printした際に同じものが2つ現れてしまったというわけです。

どうすれば「詳細を見る」だけ取得できるか

これはDOM毎に大きく変わってきますが、
今回の場合はaタグで表示されるテキストで取得するのが最適だと思います。

python
1for elem in elems:
2    if elem.string == '詳細を見る':
3        elem_rink = elem.get('href')
4        if 'msg/' in elem_rink:
5            elem_rp = elem_rink.replace('msg/', '')
6            print('https://tenshoku.mynavi.jp/' + elem_rp)
7        else:
8            print('https://tenshoku.mynavi.jp/' + elem_rink)