DataFrameの中で、特定の要素を含む行を抽出したい

Question

#前提・実現したいこと
pandasのDataFrameの中で、特定の要素を含む行を全て抽出したいのですが、方法が分かりません。
str.containsがやりたいことに最も近いのですが、カラムを指定しないとできません。
元データは何千万行何百列にわたるので、カラムを一個一個指定してstr.containsで判定するのではなく、一度に抽出する方法があれば知りたいです。

#試したこと
例えば、下記のように"li"を含むすべての行を１度に抽出したいのですが、str.containsではカラムを指定しないと実現できません。
本来やりたいデータは何千万行何百列にわたるのですが、説明のため下記のような簡単な例にしております。

dfの構造例：
name1,name2,age,state,point
Alice,John,24,NY,64
Bob,Alice,42,CA,92
Charlie,Michel,18,CA,70
Dave,Alice,68,TX,70
Ellen,John,24,CA,88
Frank,David,30,NY,57

print(df["name1"].str.contains('li'))
# 0     True
# 1    False
# 2     True
# 3    False
# 4    False
# 5    False
# Name: name, dtype: bool

print(df.str.contains('li'))
期待する結果：
# 0     True
# 1     True
# 2     True
# 3     True
# 4    False
# 5    False
# Name: name, dtype: bool

Comments

[ppaul]

コードを簡単にしたいのですか、それとも性能を上げたいのですか？

[hayataka2049]

うまいやり方は、何千万行をどうやって読み込んでDataFrameにするのかに依存しそうです。

Answer 1

入力と出力がcsvファイルであれば、pandasを使わない方が簡単ですし高速です。

with open('input.csv', 'r') as fin, open('output.csv', 'w') as fout:
    fout.write(fin.readline())
    while line := fin.readline():
        if 'li' in line:
             fout.write(line)

linuxであれば以下の方がより簡単でより高速です。

head -1 input.csv >output.csv
grep li input.csv >>output.csv

結果のデータフレームが必要なら、これをread_csvで読み込んで下さい。

Comments

[ikegami_m]

ありがとうございます！参考にさせていただきます。

Answer 2

とりあえずできた

df[df.apply(lambda s: s.str.contains('li'), axis=1).any(axis=1)]

Comments

[ikegami_m]

できました、ありがとうございます！
最も簡潔に実現できたのでベストアンサーとします。