スクレイピング 上半期別曲のリンクを取得したい

Question

〇実現したいこと
・https://www.uta-net.com/close_up/2019_kamihankiの2019年上半期楽曲別アクセスランキングTOP30のリンクを全て取得したい。(下記画像の曲名全てのリンクを取得したい)

〇現時点のソースコード

〇出力結果
[]
[]
[]
[]
続く
[]
[]

Answer 1

seleniumでは下記で30個のURLが取得できましたので、bs4用に書き換えていただければ良いかと存じます。
ID"ranking2"に含まれるtag"a"を取得する方向で記載いただければ良いようです。

urls = [] 

for i in driver.find_element_by_id("ranking2").find_elements_by_tag_name("a"):
    urls.append(i.get_attribute("href"))

Answer 2

こんにちわ。
他に良い指定方法があるかもしれませんが、とりあえず動かすなら
link変数の指定方法に属性でフィルターをかけた方が良いのでは。

soup=BeautifulSoup(response.text,'html.parser')
a="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;"
b = soup.find_all('a',{'onclick':a})
```すると、urlに近い情報を抜きとれます。
後は①href属性を抜きとり（getメソッド）、②不要部分の削除（この場合#以降が邪魔ですね）、③相対パスを絶対パスへ。①～③をループ処理
という流れになるかと。
②の部分が面倒そうですが、関数作っちゃっていいと思います。例を置いておきます。
```python3
def delite_tag(tag):
    return tag[:tag.find('#')]

Answer 3

href属性を持っているのは、tdじゃなくてaです。
#追記
ランキングテーブル中のaタグのhref属性を得る。

    for tr in soup.find(id="ranking2").find_all("tr")[1:]:
        print(tr.find("a").get("href"))

Comments

[shohei_mlb]

リンク内の"/song/number/#view_main" だけ取得することは可能ですか？

〇ソースコード
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time

list_df = pd.DataFrame(columns=['曲名', '歌詞'])

url = 'https://www.uta-net.com/close_up/2019_kamihanki'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
links = soup.find_all('td')
for link in links:
l = link('a')
print(l)

>>>>>>>>>>>>>>>
〇出力結果
[<a href="/song/244127/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">Lemon/米津玄師</a>]
[]
[]
[]
[]
[<a href="/song/261730/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">HAPPY BIRTHDAY/back number</a>]
[]
[]
[]
[]
[<a href="/song/263550/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">白日/King Gnu</a>]
[]
[]
[]
[]
[<a href="/song/251631/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">マリーゴールド/あいみょん</a>]
[]
[]
[]
[]
[<a href="/song/256753/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">オールドファッション/back number</a>]
[]
[]
[]
[]
[<a href="/song/215594/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">LOSER/米津玄師</a>]
[]
[]
[]
[]
[<a href="/song/266648/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">Pretender/Official髭男dism</a>]
[]
[]
[]
[]
[<a href="/song/239017/#view_main" onclick="window.open(this.href, 'hoge','scrollbars=yes,width=660,height=700'); return false;">瞬き/back number</a>]
[]
[]
[]
[]

[otn]

ちょっと意味が分かりません。
href属性が欲しいということですか？

[shohei_mlb]

はい、そうです。