サイトからタイトルのみをスクレイピングで取得したい。

Question

前提

Pythonでスクレイピングをしたいです。
どうしても、うまくいかず助けていただきたいです。

実現したいこと

・こちらのサイト（https://blog.hatenablog.com/entry/2022/06/13/120000）から、
すべてのタイトルを取り出したいです

発生している問題・エラーメッセージ

https://blog.hatena.ne.jp/hatenablog/blog.hatenablog.com/subscribe?utm_campaign=subscribe_blog&utm_source=blogs_topright_button&utm_medium=button
https://hatenablog.com?utm_source=weeklyHatenaBlog&utm_medium=referral&utm_campaign=globalNavbar
/archive/category/Feature
/archive/category/Topic
/archive/category/Odai
/archive/category/Editor’s%20Pick
/archive/category/Information
/
https://blog.hatenablog.com/pro-monetize-campaign
/archive/category/Feature
/archive/category/Topic
/archive/category/Odai
/archive/category/Editor’s%20Pick
/archive/category/Information
https://blog.hatenablog.com/archive/2022/06/13
（省略）

該当のソースコード

load_url = "https://blog.hatenablog.com/entry/2022/06/13/120000"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")

for element in soup.find_all("a"):
    url = element.get("href")
    print(url)

試したこと

上のように、実行してもURLしか取得できず、肝心のタイトル（文字列）が所得できません。
恐らく、要素の指定の仕方が間違っていると思うのですが、
自力では解決できそうもなく、ご教示いただきたいです。

Comments

[cm67809733]

要素の指定の仕方が間違っているとか以前に、なんにも考えずに丸投げしてるように思えますが？
ブラウザでそのページのソースを見たりして、試行錯誤した跡が全くうかがえないです。もし試行錯誤したならそんなソースになるはずがない。

[papermount]

ご指摘ありがとうございます。
自分なりに時間をかけて、試行錯誤したつもりでしたが、どこかで他人任せになっていたのかもしれません。
今後は、試行錯誤した後もしっかりと示せるようにいたします。

Answer 1

import requests
from bs4 import BeautifulSoup
from pprint import pprint

load_url = "https://blog.hatenablog.com/entry/2022/06/13/120000"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")

a = soup.select('div.entry-content table tr > td > a:nth-child(2)')
title = [i.text for i in a]
pprint(title)

#
['厚生年金が支給停止だから月収47万円以上？ - andalusiaのブログ',
 'ビールが無限に飲めるタイ料理 ムー・サップ・カイケム（豚ひき肉と塩玉子の炒めもの）の作り方 - nomolkのブログ',
 'プロダクトの目的・目標・指標をチームで考えていくために可視化した話 - SmartHR Tech Blog',
 '「握手会」と最近のCD売上のこと - WASTE OF POPS 80s-90s',
 '昇給によって年収1000万円を超えるエンジニアを産み出すという目標の達成報告 - Toyokumo Tech Blog',
 '海外製ルータの脆弱性検証 - ラック・セキュリティごった煮ブログ',
 '人間の脳が片方失われてもほぼ正常に機能するのはなぜなのか──『脳の地図を書き換える\u3000神経科学の冒険』 - 基本読書',
 'ゆめみのフロントエンドコーディング試験の題材で React の勉強をしました - Mitsuyuki.Shiiba',
 "本多勝一『アムンセンとスコット』（朝日文庫）は、本文もさることながら山口周の解説文が非常に示唆的 - KJ's Books and Music",
 'インフレ時に従業員の給料が上がっていく順番について 「給与アップは下から上へ」 - 頭の上にミカンをのせる',
 'Slackで本を紹介しやすくするサービスを作った - kurainの壺',
 'はてブのユーザーインタビューを受けた - 本しゃぶり',
 '教養とは：漁父の辞と水処理 - 山形浩生の「経済のトリセツ」',
 '僕と西原理恵子さんと「愛すること」の呪い - いつか電池がきれるまで',
 'freeeのエンジニアにリモートワーク環境のこだわりを聞いてみた - freee Developers Hub',
 'トランス女性が優勝したと話題の自転車競技は、最初からトランスジェンダーにひらかれた部門 - 法華狼の日記',
 'リバタリアニズムの終焉――陰謀論に乗っかるロン・ポールとその支持者をみた雑感 - 接近から流します',
 'ポランニー『ダホメ王国と奴隷貿易』全訳終わった - 山形浩生の「経済のトリセツ」',
 '不確実性に立ち向かう一つのTips〜リスク管理に取り組んだ話〜 - BASEプロダクトチームブログ',
 '大規模システムのリプレイスを2度経験したPMが語るシステム移行プロジェクトで重要なこと - JMDC TECH BLOG',
 'ユニクロUの隠れた良品フレンチリブパンツ…気軽に、ラクに、でもそれなりに見えてしまうパンツが欲しい全ての方に - ナルシストで何が悪い？',
 'ポランニー／イモータン・ジョー／コルナイ：不足の経済と社会権力 - 山形浩生の「経済のトリセツ」',
 'ヘイトに傾いた人には恥をかかせないほうがよいのかもしれない - バラバラに、ともに。遠藤まめたのブログ',
 'OSS活動を通して掴んだ海外キャリア。英語力よりも技術力を大切にチャンスを掴む - Findy Engineer Lab - ファインディエンジニアラボ',
 'Rubyでできる！RISC-Vシミュレータの作りかた 〜 From 4649 To HELLO WORLD 〜 - esm アジャイル事業部 '
 '開発者ブログ',
 'アクセスログ解析サービスVisionalistで利用していたドメイン（tracer[.]jp）の脅威分析と注意喚起 - NTT '
 "Communications Engineers' Blog",
 '株式会社Hajimari｜Notionで新卒採用管理システムを作ってみた！ - Hajimari Tech Blog 株式会社Hajimari',
 '#ISUCON本 こと「達人が教えるWebパフォーマンスチューニング」について - uzullaがブログ',
 '『新しい時代への歌』のサラ・ピンスカーによる、今年ベスト級のSF短篇集──『いずれすべては海の中に』 - 基本読書',
 'EM見習いとして1on1と採用計画見直しを実施して感じたこと - commmune Engineer Blog',
 '90年代後半には何かがあったんだよ',
 '当事者としては90年代後半の青春時代はクソ',
 '【追記あり】子供の頃、西原理恵子のファンだった思い出。',
 'ちょっとお高めのお寿司屋さんから一言',
 'いい歳こいたおっさんが音楽理論を1ヶ月学んだ結果',
 'ネットがもうどこを見てもつまらん',
 '面白かったハードSF小説おしえて',
 'お前らの部屋がなんで汚いままなのか教えてやる',
 '初めてお付き合いさせて貰う彼氏の部屋が機械だらけだった',
 'なんで日本人って「海外移住する日本人」が大嫌いなの？']

Comments

[papermount]

ご回答いただきまして、ありがとうございます。
先にご回答いただいた方をベストアンサーとさせていただきました。
せっかくご教示いただきましたのに、申し訳ございません。

[melian]

CSS セレクタは便利ですので機会があれば使ってみてください。

[papermount]

はい！機会があれば使ってみようと思います！！
何から何まで教えていただき、ありがとうございます。

Answer 2

import requests
from bs4 import BeautifulSoup
load_url = "https://blog.hatenablog.com/entry/2022/06/13/120000"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")
table = soup.find('table')

titles=[]

tbody = table.find('tbody')
trs = tbody.find_all('tr')
for tr in trs:
    for td in tr.find_all('td'):
        titles.append((tr.find('th').text,td.text))

for rows in titles:
    print(rows)

Comments

[papermount]

ご回答いただき、ありがとうございます。
番号が付いたうえで出力されて、とても助かりました！
ご教示いただきまして、ありがとうございます。