pythonでのスクレイピングのやり方

Question

コメントにあるようなHTMLから日本語部分だけ抽出する場合どのようなコードを書けばいいいのでしょうか

python

import requests
from requests import Response
from bs4 import BeautifulSoup
import re

response: Response = requests.get('https://qiita.com/')
soup: BeautifulSoup = BeautifulSoup(response.text, "html.parser")

data = soup.find_all(href = re.compile("a" and "qiita.com/*/items/*"))
#<a class="abc-1234" href="https://qiita.com/hogehoge/items/ae9e583163efc28a73d2">日本語部分</a>

print(data)

Answer 1

import requests
from requests import Response
from bs4 import BeautifulSoup
from pprint import pprint

response: Response = requests.get('https://qiita.com/')
soup: BeautifulSoup = BeautifulSoup(response.text, "html.parser")

data = soup.select('h2 > a')
title = [d.text for d in data]
pprint(title)

#
['誰でも始められる！発信活動を継続しながら楽しく成長する方法',
 '日は沈む。考える事を放棄した日本産UIの日没',
 '「ミノ駆動本」読書感想文',
 'WHERE句を忘れただけなのに',
 'RFCに追加されたuseEventについて',
 'TypeScriptの等価演算子(==)と厳密等価演算子(===)について',
 'Youtube上にカフェを作った話',
 '「ハッカーと画家」は非エンジニアにも読んでほしいオタク野郎の取説',
 '【Shopifyアプリ調査】YouTube動画埋め込みアプリをつかってみた',
 '「偏見と妄想で語るスクリプト言語としての Swift」登壇補足',
 '【初学者向け】誰でも理解できるSQLの基礎',
 'エンジニアは専門書籍を買ってはいけない',
 '【2022】業務でRustを使うことは無いと言ったが本当か？512MBの環境で様々なGUIを動かしてみた【Windows,業務システム】',
 '「Android絵文字ポリシー」に開発者が対応する事',
 'Python実装のWebアプリケーションフレームワークOSSの比較（2022年版） ',
 'Python基礎文法まとめ',
 'LCPの改善でLighthouseだけ見てない？効果的に改善していくためのステップ',
 '【Shopifyアプリ調査】商品レビューアプリの最適解見つけた件',
 'GitHub ActionsでC#のビルド可否の確認とユニットテストを自動化する方法',
 'インフラ未熟者がDevSecOpsThonに参加してみた',
 '2022年6月施行の改正特定商取引法に対応するための、Stripe Checkout / Payment Links設定ガイド',
 '【Shopifyアプリ】ランキング形式に表示できるアプリを導入してみた！',
 'フルスタックエンジニアへの道 part 1  ~Rails 7 × Dockerの環境構築 1',
 'MATLAB講習会を行う際に意識すること',
 'PowerApps と Azure を連携させるベストプラクティス',
 '[GCP] Identity Platform で有効期限付きパスワードの認証機能を実装してみるよ',
 '【個人開発】英語の発音精度を診断するアプリ「Speaking Checker」を作りました',
 '最新のタグを取得するGitコマンド',
 'Microsoft Office アプリでの CO2 の入力方法',
 'Spotifyで自分が聞いた曲を分析してみた']

Comments

[karasuma]

わざわざ正解まで！ありがとうございました！