listに重複が無いように追加していきたい。

Question

前提・実現したいこと

    cakes = []

このリストの中身を重複しないようにしたい。
どのような書き方があるのか知りたいです。

前回のコードは、規約違反でしたので削除しました。
指摘ありがとうございました。

該当のソースコード

import requests
from bs4 import BeautifulSoup

cakes = [] 
urls = create_url(http) 
for url in urls:
    r = requests.get(url)
    bs =BeautifulSoup(r.text,'lxml')
    contents = bs.find_all('div',class_='Menu')
    for content in contents:
        cake_name = content.find('div',class_='cake').find('a')
        cakes.append(cake_name.text)

Comments

[8524ba23]

「個別のリストの中身を重複」という状態が分かりません。具体的な例で示してください。
また、「重複していたら処理を行わない」という処理もよく分かりません。
提示コードのどの部分でどのようにその処理が行われているのかについて説明ください。

[atk_721]

指摘ありがとうございます。修正しました。

Answer 1

単純に以下でよいかと思います。

if title.text not in titles:
    titles.append(title.text)

Comments

[atk_721]

回答ありがとうございました。titile.text not in と言う所が理解出来ていませんでした。

Answer 2

indeedの利用規約で禁止されている行為はやめましょう。

ユーザーは、Indeed のサイトまたはそのコンテンツを非商用以外の目的で利用することは許可されていません。第三者が運用するものかどうかを問わず、自動化システムまたはソフトウェアを使用して本サイトからデータを抽出する行為 (画面スクレイピングやクローリングなど) は禁止されています。

参考: https://jp.indeed.com/legal

---

重複したものを除外したいなら list ではなく set を使ってはどうでしょうか。

Comments

[atk_721]

指摘ありがとうございます。以後規約を確認してから行うようにします。

set に渡すと順番に取り出せないと思いあえて list にしています。