スクレイピングで曲名,歌手名を取得したい（test codeは正常に動作)

Question

前提・実現したいこと

あるサイトにおいて特定の文字列を取得したい
test codeでは正常に動作していたため
どこで問題があるか知りたい,解决したい

発生している問題・エラーメッセージ

AttributeError                            Traceback (most recent call last)
<ipython-input-4-21ad6109705f> in <module>()
     30 
     31 
---> 32 s = m.group(0)
     33 print(s)
     34 

AttributeError: 'NoneType' object has no attribute 'group'

該当のソースコード

import urllib.request
#正規表現に使う
import re


#url = "任意のURL"
url = "url載せるのはまずいかもしれないので避けます"

res = urllib.request.urlopen(url)

html = res.read().decode("utf-8")
#ここまでがhtml抽出
#print(html)

#欲しい文字列A:曲名,欲しい文字列B:歌手名
#パターン1
#r = re.compile("<span id="song_artistName" class="">(欲しい文字列A)／(欲しい文字列B)</span>")
r = re.compile('<span id="song_artistName" class="">(.*?)／(.*?)</span>')

#パターン2
#r_a= re.compile('<td class="dlg cell song"><div class="dlg">(欲しい文字列A)</div></td>') 
#r_b = re.compile('<td class="dlg cell artist "><div class="dlg">(欲しい文字列B)</div></td>')

#r_a = re.compile('<td class="dlg cell song"><div class="dlg">(.*?)</div></td>') 
#r_b = re.compile('<td class="dlg cell artist "><div class="dlg">(.*?)</div></td>')


m = r.search(html)
#m = r_b.search(html)
#m = r_a.search(html)


s = m.group(0)
print(s)

s = re.sub("<.*?>", "", s)
print("曲名:"+ s)



"""
f = open("test.html", "w", encoding="utf-8")
f.write(html)
f.close()
print("test.htmlに書き込みました")
"""

試したこと

test codeでは欲しい文字列は<span></span>で囲まれていたため
とりあえずパターン１のcodeから取得しようと試みました

group()が反応しないということは
m すなわちr.searchが正常に動作していないと思います

後はr.searchがダメなのかre.compileがダメなのか分かればいいのですが…
分かりません

パターン１とパターン２では同じエラーが出ました
当該のwebページではパターン2に対応する部分をクリックなどして選択したときにパターン1に対応する部分が表示されるような仕組みでした

補足情報（FW/ツールのバージョンなど）

google colaboratoryで実行しています

Answer 1

質問者様は正常にページへのリクエストが出来ていると勘違いされていらっしゃるかもしれませんが
print(html)と出力した結果をよくご確認ください。
「何らかの原因によりシステムエラーが発生しました。」というエラーが出ており
正常にページ内のソースを取得出来ていないと思います。

記載されていたURLのサイトでの目的の動作を行うにはまずログインが必要になる様です。
そしてログインの際にはいわゆるトークンが必要となる様で
ログインページ内に、hidden属性が付与されたinput要素がありそちらを取得する必要があります。
しかしトークンを取得したとしても、今度はログイン時にjavascriptが使用されており
(おそらく質問者様が行われた手法で、予め手動でトークンorログイン後のURLを用意してスクレイピングする事は可能)
また、ログイン後のマイリストの編集ページでも同様にjavascriptが使用されたページとなる為
いずれにしてもそれ以上の目的を果たす方法がありません。

javascriptが使用されたページのスクレイピングを行うにはseleniumを使用しましょう。

from selenium import webdriver
from bs4 import BeautifulSoup
import time

login = ('ログインID', 'ログインパスワード')

driver = webdriver.Chrome()	# お好きなドライバをご使用ください
driver.get('https://ログインページURL/Login.do')

# ログイン情報入力
driver.find_element_by_name('id').send_keys(login[0])
driver.find_element_by_name('password').send_keys(login[1])

# ログインボタンクリック
driver.find_element_by_id('LoginButton').click()
time.sleep(1)

# myページ遷移
driver.get('https://マイページURL/MyPage.do')
time.sleep(1)

# myリスト遷移
driver.find_element_by_id('bnr_mydenmoku').click()
time.sleep(2)

# マイリストから曲名とアーティスト名取得
songs = driver.find_elements_by_xpath('//*[@id="mylist1"]/div/table/tbody//*/td[3]')
artists = driver.find_elements_by_xpath('//*[@id="mylist1"]/div/table/tbody//*/td[4]')

for song, artist in zip(songs, artists):
	if song.text != '（未登録）':
		print(song.text, artist.text)
	else:
		pass

Answer 2

当該のwebページではパターン2に対応する部分をクリックなどして選択したときにパターン1に対応する部分が表示されるような仕組みでした

であるなら、あなたの提示したコード

url = "url載せるのはまずいかもしれないので避けます"
res = urllib.request.urlopen(url)
html = res.read().decode("utf-8")

の変数htmlの内容には、パターン1が含まれていない可能性が高い。実際の変数htmlの内容を画面に表示して確認してみるといいでしょう。

探している部分が動的に生成されているなら、この方法では取得できません。URLを示すのを避けている以上、これ以上のアドバイスは無理です。

Comments

[LOLOLOL]

回答ありがとうございます
まず、取得したいWebサイトがアカウント制であることを表記していませんでした
情報が不足していて申し訳ありません

そして、状況によってURLが変化することが判明しました
https://www.clubdam.com/dam/app/mydenmoku/editMydenmoku.html?token=onetimeToken_loginauth_(ログインしたアカウントや時間によって変わる部分)

利用規約の禁止事項には記載されていないですが
サイトではコピーが出来ないようになってるため
もしかしたらダメなのかもしれません(ctrl-Aからのコピーは可能)
URLからお分かりかもしれませんがカラオケサイトです

Answer 3

サンプルコード

import requests    # pip install requests
import lxml.html   # pip install lxml


url = "任意のURL"
res  = requests.get(url)

html = lxml.html.fromstring(res.content)
#ここまでがhtml抽出
#print(html)

lists = html.xpath("//span[@id='song_artistName']")

for elem in lists:
  
    print(elem.text)

Comments

[LOLOLOL]

回答ありがとうございます

結果としては実行してみましたが
何も出力されませんでした

htmlを出力した結果は
<Element html at 0x7fd665be9c28>
となりました