Udemyの検索結果のスクレイピング

Question

やりたいこと

Udemyの検索画面から、各ページのリンクや講座名、レートなどをスクレイピングするコードを作成したい。

問題

• urlがうまく生成できていない
  検索ページのurlの形式は分かっているが作成したコードでは文字コードエラーが出てしまいencodeしても動作しなかった。

• そもそもどこをスクレイピングすれば良いかわからない
  検索→一覧ページの取得は分かった。しかし、デベロッパーツールを確認したところターゲットが見つからず。恐らく、ページ遷移先でスクレイピングすると考えられるが、その場合の手段が調べても分からなかった。

以上二点です。
現状作成したurlを確認するところまででですが、下記コード参照していただければと思います。

from csv import excel
from tkinter.tix import DirSelectBox
import urllib.request
from bs4 import BeautifulSoup
import lxml
import selenium


# 検索語群※ここではビジネス系の語群にしてみる
key = ['人事'.encode('utf-8'),'HR','経理'.encode('utf-8'),'accounting','human+resources','営業'.encode('utf-8'),'EC',\
'marketing','マーケティング'.encode('utf-8'),'E+Commerce']
# 別の語群※
key2 = ['人事'.encode('utf-8'),'HR','経理'.encode('utf-8'),'accounting','human+resources','営業'.encode('utf-8'),'EC',\
'marketing','マーケティング'.encode('utf-8'),'E+Commerce']
#検索ページのうｒｌ（＋検索値）
url = 'https://www.udemy.com/courses/search/?src=ukw&q='

"""
ユーザーエージェント (User agent）
確認くんでチェックする!!

 https://www.ugtop.com/spill.shtml

サイトによって、弾かれるから、ブラウザを偽装する必要があるらしい。
"""

#そのままコピペした
ua = #そのままコピペした
req = urllib.request.Request(url, headers={'User-Agent': ua})
html = urllib.request.urlopen(req)

"""
Python標準ライブラリのhtml.parser以外に、lxmlやhtml5libを指定することもできる。
その場合は、それぞれをpipなどでインストールしておく必要がある。
"html.parser"を使わないと警告出されるらしい

$ pip install lxml
$ pip install html5lib

Beautiful Soupのドキュメントによるとlxmlが速いのでオススメとのこと。
"""
soup = BeautifulSoup(html, "lxml")

"""
恐らくここにページのリンクがある？？
<div class="popper--popper-content--2tG0H course-objectives-quick-view-box--popover-wrapper--3rGCp" 
id="u206-popper-content--341" aria-labelledby="u206-popper-trigger--340">

<div class="popper--animation-wrapper--1uUMV"><div class="popover--popover--bps8g popover--popover--top--arrow--1CAPy">
<div class="popover--inner--1ZzRT"></div>
<div class="popover--arrow--1i7d4 popover--arrow--top--17Jzn" style="top: 100%; left: 0rem;"></div></div></div></div>
"""

for k in range(len(key)):
    Url = url+key[k]
    for d in range(len(DSkey)):
        Url = Url+key2[d]
        print(Url)



"""
参考にしたコードの残差

topicsindex = soup.find('div', attrs={'class': 'topicsindex'})
topics = topicsindex.find_all('li')

for topic in topics:
    print(topic.find('a').contents[0])


"""

参考ページ

Answer 1

※ 検索用の API を使う場合

import requests
import urllib.parse
from pprint import pprint

# 検索語群※ここではビジネス系の語群にしてみる
query_words = [
    '人事', 'HR', '経理', 'accounting', 'human+resources',
    '営業', 'EC', 'marketing', 'マーケティング', 'E+Commerce',
]

# get cookies
udemy_url = 'https://www.udemy.com'
s = requests.Session()
cookies = s.get(udemy_url).cookies

# 検索API
query = '+'.join(urllib.parse.quote(qw) for qw in query_words)
headers={
    'Referer': f'https://www.udemy.com/courses/search/?q={query}&skip_price=false',
    'X-Udemy-Cache-Language': 'ja',
}
url = 'https://www.udemy.com/api-2.0/search-courses/?src=ukw&skip_price=false'
data = s.get(url + f'&q={query}', cookies=cookies, headers=headers).json()

# リンク、講座名、レートを表示
courses_info = []
for course in data['courses']:
    courses_info.append({
        'title': course['title'],
         'link': urllib.parse.urljoin(udemy_url, course['url']),
       'rating': course['rating'],
    })

pprint(courses_info, sort_dicts=False)

#
[{'title': '「営業の一流、二流、三流」の著者がお届けする、「誰もがトップセールスになれる！営業スキル大全」',
  'link': 'https://www.udemy.com/course/blxgumyp/',
  'rating': 4.550725},
 {'title': '「営業の一流、二流、三流」の著者が教える、法人営業の決定版「提案力レベルアップ大全」',
  'link': 'https://www.udemy.com/course/qlwtqxgf/',
  'rating': 4.5109816},
 {'title': '無料でフリーランスが営業・仕事獲得できる22種類の手法を総ざらい【資料ダウンロード可能】',
  'link': 'https://www.udemy.com/course/sales-method/',
  'rating': 4.5375347},
 {'title': 'はじめてのマーケティング ～豊富な事例をベースに理論の全体像を理解しよう！3時間半であなたもマーケター脳になれる',
  'link': 'https://www.udemy.com/course/mindseeds_marketing/',
  'rating': 4.428493},
 {'title': '【Laravel】マルチログイン機能を構築し本格的なECサイトをつくってみよう【Breeze/tailwindcss】',
  'link': 'https://www.udemy.com/course/laravel-multi-ec/',
  'rating': 4.401135},
 {'title': '【DXを前提とした】マーケティング基礎講座：基礎から応用までこれ一つで学べる、最先端のDXまで網羅できる！',
  'link': 'https://www.udemy.com/course/dxzenya-marketing_ogza_sakamotomatsuaki/',
  'rating': 4.616512},
 {'title': '【収益分析に強くなる】エクセルで学ぶマーケティング収益分析＆シミュレーション',
  'link': 'https://www.udemy.com/course/excel-marketing/',
  'rating': 4.386267},
 {'title': '社員の定着率1年で2.6倍up 人件費30.5%ダウン 簡単・シンプルに戦略的な人事を実現 人事評価制度構築セミナー',
  'link': 'https://www.udemy.com/course/personnel_evaluation_system/',
  'rating': 3.7249434},
 {'title': '【はじめての統計学】 エクセルで学ぶマーケティング統計分析＆戦略',
  'link': 'https://www.udemy.com/course/marketing-statistics-excel/',
  'rating': 4.4890327},
 {'title': 'こんなに簡単！戦略人事',
  'link': 'https://www.udemy.com/course/statssenryaku/',
  'rating': 3.0668416},
 {'title': 'これ１本ですべてを網羅！経理部に配属された若手社員が身につけるべき基礎知識',
  'link': 'https://www.udemy.com/course/1-vodyie/',
  'rating': 3.6054249999999994},
 {'title': 'あなたで良かった！カウンセリング営業育成コース｜売り込まないセールス術マスター',
  'link': 'https://www.udemy.com/course/wuegufcr/',
  'rating': 4.377918},
 {'title': '相手のやる気を引き出すモチベーションコントロール《上級編》【人事コンサルが教えるビジネスで成功するメンタルを手に入れる】',
  'link': 'https://www.udemy.com/course/business-mental-3_motivation-2/',
  'rating': 4.6284018},
 {'title': '【入門編】ゼロから始めるデジタルマーケティング～企画提案書が作れるターゲティング、コンセプトメイク、メディア選定～',
  'link': 'https://www.udemy.com/course/digital-marketing-introductory/',
  'rating': 4.3549786},
 {'title': '【入門から実践まで】Webマーケティングの全体像とデータ活用を短時間で学び実際にSEO集客ツールを作ってみよう！',
  'link': 'https://www.udemy.com/course/web-marketing-for-beginner/',
  'rating': 4.200853},
 {'title': '【人事・面接官向け】初めての面接講座 − シリコンバレーで活用される、”科学的”な見極め・惹きつけ術',
  'link': 'https://www.udemy.com/course/every-fun-with-hr/',
  'rating': 4.0653977},
 {'title': 'コンテンツマーケティング大百科\u3000～The Content Marketing Encyclopedia～',
  'link': 'https://www.udemy.com/course/the-content-marketing-encyclopedia/',
  'rating': 4.6327887},
 {'title': '売れる営業は「聴く」！トップセールスが教える顧客心理をとらえる営業スキル',
  'link': 'https://www.udemy.com/course/znothvur/',
  'rating': 4.323584},
 {'title': '最短２週間で変化が出る！初心者向けのWEBサイト分析・改善【実践講座】',
  'link': 'https://www.udemy.com/course/u-analytics/',
  'rating': 4.147225},
 {'title': '【脱！属人営業】わかる！営業のためのマーケティングまるごと講座\u3000顧客とチームを動かすリーダーのための戦略営業のPDCA',
  'link': 'https://www.udemy.com/course/pdca-ybk/',
  'rating': 4.846905}]