Pythonで2つのリストの要素を比較したい

Question

実現したいことと課題

お世話になります。
Pythonで2つリストの要素を比較したいと考えています。

比較の内容は、
あるリスト(以下、ss)の要素（文字列）に、除外したい文字列（リスト形式で保持、以下、jyogai）が含まていないものを残したいと考えています。

#あるリストと除外したい要素のリストの比較
#SS:使用するリスト
#jyogai：除外対象の文字列が入ったリスト
#nokositaimono:ssの要素の内、jyogaiの要素を含んだものを除外したリスト

#配列の要素比較
for ss_item in ss:
   for jyogai in jyogai_list:
      if jyogai not in ss_item:
         nokositaimono.append(ss_item)

上記のコードで実行すると以下のエラーが表示されます。
解決方法についてアドバイスをいただきたく、よろしくお願いします。

エラーメッセージ

---

Error

sys:1: DtypeWarning: Columns (4,6,7) have mixed types.Specify dtype option on import or set low_memory=False.

Traceback (most recent call last):

File "<string>", line 1, in <module>

File "c:\users\desktop\work\python\実行プログラム.py", line 35, in SearchURL

if jyogai not in ss_item:

TypeError: 'in <string>' requires string as left operand, not NoneType

Comments

[udon-ken]

SS:使用するリスト
の要素に重複する要素はありますか？
例:[1,2,1,4,3,1]
みたいに。

[udon-ken]

あ！
この件は現在のコードとは関係ないです。
「set型使ったら楽かなー」って考えていたら、投稿してしまったので気にしないで下さい。

Answer 1

# elem が jyogais の要素をどれも含んでいないなら True
def check(elem, jyogais):
  return any(map(lambda j: j in elem, jyogais))

def task(data, jyogais):
  js = [x for x in jyogais if x is not None] # jyogais から None を取り除く
  return list(filter(lambda x: x is None or not check(str(x), js), data))

ss =[
  None, 1,
  'http://www.google.com/xxx&#039', 'https://www.microsoft.com/yyyy&#039',
  'http://xxx.yyy.zzz&#039'
]
jyogai_list = ['.google.com', '.microsoft.com', None]
print(task(ss, jyogai_list))

実行例:

Comments

[退会済みユーザー]

ご回答いただき、誠にありがとうございます。
処理が分けられていてすごく理解しやすかったです。
いただいた内容を踏まえ、コードを修正して見ます。

Answer 2

ppaul さんと本質は同じですが、個人的には all の方が読みやすいです。
文字列以外の要素が None のみの前提です。

ss =['apple', 'orange', 'berry']
jyogai_list = ['app', None, 'rr']
lst = [s for s in ss if all((not jyogai) or jyogai not in s for jyogai in jyogai_list)]
print(lst)   # ['orange']

Comments

[退会済みユーザー]

アドバイスをいただき、ありがとうございます。
私のやりたいこと自体は、ご教示いただいたコードで実現可能であると思うのですが、
自分の環境だと、どうしても同じようになりませんでした。
もう一度、コード自体見なおしてみます。

Answer 3

エラーの原因は、can110さんの書かれている通りです。

教えてしまうと勉強にはならないかもしれせんが、初心者の方には難しいような気がしますので回答します。
ループで書くと、フラグを使うとかして、あまり綺麗なプログラムにできないように思います。
内包表記を使うとまあまあのコードになるのですが、あまり気に入ってはいません。

どなたかもっとわかりやすいコードがあれば私も知りたいので教えてください。

>>> ss =['apple', 'orange', 'berry']
>>> jyogai_list = ['app', None, 'rr']
>>>
>>> print([s for s in ss  if not any([type(jyogai)==str and jyogai in s for jyogai in jyogai_list])])
['orange']

コメントされた入力例は文法エラーなので、適当に修正してみました。

>>> ss =['http://www.google.com/xxx&#039', 'https://www.microsoft.com/yyyy&#039', 'http://xxx.yyy.zzz&#039']
>>> jyogai_list = ['.google.com', '.microsoft.com']
>>> ss
['http://www.google.com/xxx&#039', 'https://www.microsoft.com/yyyy&#039', 'http://xxx.yyy.zzz&#039']
>>> jyogai_list
['.google.com', '.microsoft.com']
>>> print([s for s in ss  if not any([type(jyogai)==str and jyogai in s for jyogai in jyogai_list])])
['http://xxx.yyy.zzz&#039']

どういう出力を期待しているのでしょうか？

Comments

[退会済みユーザー]

アドバイスをいただき、ありがとうございます。
また、ご配慮をいただきありがとうございます。

今時点、うまく動作していなくいろいろと試行錯誤しています。

実際のリストデータは以下のようなイメージなのですが、文字の部分比較がうまくいっていないように感じています。
ss =['http://www.google.com/xxx', 'https://www.microsoft.com/yyyy', 'http://xxx.yyy.zzz']
jyogai_list = ['.google.com', .microsoft.com]

inで比較した際に、「http://www.google.com/xxx」が除外されず、リストに残っている状況です。

なお、コードは試行錯誤している最中なので、今は以下のようにしています。

ss = filter(None,ss)
jyogai_list = filter(None,jyogai_list)

uniq_url_list = []
request_word = ''

for ss_item in ss:
for jyogai in jyogai_list:
if jyogai in ss_item:
request_word = ''
break
request_word = ss_item
if request_word != '':
uniq_url_list.append(request_word)

[退会済みユーザー]

再度アドバイスをいただき、ありがとうございます。
やりたいことは、修正いただいたコードの実行結果の通りなんですが、どうも自分の環境だとその通りにならないです。
実現可能であることはご提示いただいたので、もう一度自分の環境を見直してみます。

Answer 4

jyogai_listにNoneである要素が含まれていると提示エラーが発生します。確認ください。

ss = ['abc']
jyogai_list = ['ab', None]
nokositaimono = []
for ss_item in ss:
   for jyogai in jyogai_list:
      if jyogai not in ss_item: # TypeError: 'in <string>' requires string as left operand, not NoneType
         nokositaimono.append(ss_item)

なお、提示コードでは意図した動作をしませんので処理を見直してください。
たとえばss_item = 'abc'、jogai_list = ['d','e']の場合、nokositaimonoにはabcが２つ入ります。

Comments

[退会済みユーザー]

アドバイスをいただき、ありがとうございます。
ご指摘いただいた内容が理解できました。
今まだ、期待通りの動作になっていませんが、以下のように変更しています。

ss = filter(None,ss)
jyogai_list = filter(None,jyogai_list)

uniq_url_list = []
request_word = ''

for ss_item in ss:
for jyogai in jyogai_list:
if jyogai in ss_item:
request_word = ''
break
request_word = ss_item
if request_word != '':
uniq_url_list.append(request_word)

Answer 5

このエラー、
if jyogai not in ss_item:
の右辺左辺が文字列だからですかね？

ss_itemがjyogai_listに含まれているかどうかを確認するだけなら、

for ss_item in ss:
    if ss_item not in jyogai_list:
        nokositaimono.append(ss_item)

でいいように思います。
（補足で失敗コメント付けて慌てて書いた為、間違ってるかも・・）

追記

ss =  ['apple', 'orange', 'berry']
jyogai_list = ['apple', 'berry']
nokositaimono = []

# ループを使う方法
for ss_item in ss:
    if ss_item not in jyogai_list:
        nokositaimono.append(ss_item)

print(nokositaimono)

# set型を使う方法（ssに重複要素が無い場合）
ss_set = set(ss)
jyogai_set = set(jyogai_list)
nokositaimono = list(ss_set - jyogai_set)

print(nokositaimono)

Comments

[退会済みユーザー]

アドバイスをいただき、ありがとうございます。
やりたいことが複雑で、私の質問自体、自分で読んでもわかりずらいので大変恐縮です。。。

やりたいことは、
ss:[apple,orange,berry]
jyogai:[app,rr]

だった時に、
nokositaimono:[orange]
と残したいです。

最初は
nokositaimono = list(set(ss) - set(jyogai_list))でやったのですが、これだと要素が完全一致しないと除外できず、やり方を模索しています。

[udon-ken]

リストの定義がなんか変ですが・・・
実際は正しく定義されているとして、回答に追記しました。

が・・・・・
もしかして、
ss = ['apple','orange','berry']
が正しいのではなくて、

apple = 'apple'
orange = 'orange'
berry = None
ss = [apple,orange,berry]

というようなコード書いてたりします？？

[退会済みユーザー]

コメントをありがとうございます。
実際はExcelの列を読み込んでリストにしています。
（pandasでデータ取得して、tolist()でリストに変換しています。）

apple = 'apple'
orange = 'orange'
berry = None
ss = [apple,orange,berry]

このような書き方もできるのですね、知りませんでした。

[udon-ken]

ああ・・・元がExcelですか・・・
であれば、やはり他の回答者様の推測通り、Noneが混入しているのですね。
Noneが混入しているのでしたら、私が提示したコードは使えません。
あれを修正するとしたら、他の回答者様のおっしゃるとおり
> ループで書くと、フラグを使うとかして、あまり綺麗なプログラムにできないように思います。
です。

どちらかというと、全部文字列であった方が使い勝手がいいと思いますのでリストにする段階でNoneは''（空文字列）に置き換えた方がいいようには思いますね。

[退会済みユーザー]

色々とアドバイスをいただき、ありがとうございます。
まだうまくいっていないのですが、もう少し考えてみようと思います。