beautifulsoupの使い方

Question

現在スクレイピングの練習をしているのですが、以下のサイトの人物をすべて取得したいのですが、なかなか取得することができません。（ex.by Abraham Lincoln（エイブラハム・リンカーン））
教えていただけたらありがたいです。

https://eikaiwa.dmm.com/blog/4690/

どうぞよろしくお願い致します。

Comments

[gentaro]

「丸投げの質問」に該当します。
https://teratail.com/help/avoid-asking
自分で書いたコードとその意図、うまくいってない点を具体的に書きましょう。
https://teratail.com/help/question-tips

Answer 1

即席のコードですので、少し汚いかもしれませんが、以下のようになりました。
コードの簡単な説明です。
requestsモジュールで、HTMLを取得します。
そして、bs4でそれを解析してreで正規表現にかけて取得する感じですね。
この際、正規表現の絞りが甘く、変な文字が入ってきたので、replaceを使って取り除いています。

from bs4 import BeautifulSoup
import requests
import re
from pprint import pprint

url = 'https://eikaiwa.dmm.com/blog/4690/'
html = requests.get(url).text
soup = BeautifulSoup(html, "html.parser")

tmp_list = soup.find_all(text=re.compile("by"))
name_list = []
for line in tmp_list:
    if '（' in line:
        name_list.append(line.replace('\nby ', '').replace('\nby\xa0', ''))
pprint(name_list)

出力結果
['Abraham Lincoln（エイブラハム・リンカーン）',
 'Mahatma Gandhi（ガンジー）',
 'Johann Wolfgang von Goethe（ゲーテ）',
 'Louisa May Alcott（ルイーザ・メイ・オルコット）',
 'Walt Disney（ウォルト・ディズニー）',
 'Walt Disney（ウォルト・ディズニー）',
 'Winston Churchill（ウィンストン・チャーチル）',
 'Elbert Hubbard\u3000（エルバート・ハバード）',
 'Ralph Waldo Emerson（エマーソン）',
 'Zig Ziglar（ジグ・ジグラー）',
 'Helen Keller（ヘレン・ケラー）',
 'Coco Chanel（ココ・シャネル）',
 'George Bernard Shaw（バーナード・ショー）',
 'Eleanor Roosevelt（エレノア・ルーズベルト）',
 'Pope John Paul II（ヨハネ・パウロ2世）',
 'René Descartes（ルネ・デカルト）',
 'Albert Einstein（アインシュタイン）',
 'Aristotle（アリストテレス）',
 'Ralph Waldo Emerson（エマーソン）',
 'Peter Drucker（ピーター・ドラッカー）',
 'Aldous Huxley（オルダス・ハクスリー）',
 'Mother Teresa（マザー・テレサ）',
 'Mother Teresa（マザー・テレサ）',
 '14th Dalai Lama（ダライ・ラマ14世）',
 'Martin Luther King, Jr.（マーティン・ルーサー・キング・ジュニア）',
 'Nelson Mandela（ネルソン・マンデラ）',
 'Abraham Lincoln（エイブラハム・リンカーン）',
 'Albert Einstein（アインシュタイン）',
 'Thomas Edison（トーマス・エジソン）',
 'Charlie Chaplin（チャーリー・チャップリン）',
 'Abraham Lincoln（エイブラハム・リンカーン）',
 'Auguste Rodin（オーギュスト・ロダン）',
 'Dale Carnegie（デール・カーネギー）',
 'Antoine de Saint-Exupéry（サン＝テグジュペリ）',
 'Francis Bacon（フランシス・ベーコン）',
 'René Descartes（ルネ・デカルト）',
 'Michel de Montaigne（ミシェル・ド・モンテーニュ）',
 'Napoleon Hill（ナポレオン・ヒル）',
 'Johann Wolfgang von Goethe（ヨハン・ヴォルフガング・フォン・ゲーテ）',
 'Will Rogers（ウィル・ロジャース）',
 'Albert Schweitzer（アルバート・シュバイツァー）']