データフレームの要素のうち、大文字のみで書かれた部分のみ取り出したいです

前提・実現したいこと

python pandas データフレームの要素のうち、大文字で書かれた部分のみ取り出したいです。以下のデータフレームdf1において、Person1～Person4の情報Information1～4から、大文字で示されている名前のみを取り出して新たなデータフレームを作りたいです。

該当のソースコード

import pandas as pd
import numpy as np

df1 = pd.DataFrame({'Information1' : [19, 'game. tennis','Prof. HANA YAMADA', 'Canada.'],
                    'Information2' : ['books', 24, 'Shopping.','A. ELIZABETH JONES.'],
                    'Information3' : ['Mr. ADAMS', 'Italy', 'Japan', 23],
                    'Information4' : ['Australia', 'MARCO', 25, 'movies']},
                    index = {'Person1','Person2','Person3', 'Person4'}
                   )

これを出力してみて、df1は

        Information1         Information2        Information3      Information4
Person1     19                books                Mr. ADAMS         Australia
Person2 game. tennis           24                  Italy             MARCO
Person3 Prof. HANA YAMADA    Shopping.             Japan              25
Person4    Canada.         A. ELIZABETH JONES.     23                movies

試したこと

以前の質問で回答いただいたものを参考に致しました。

Name = []
for row in df1.itertuples():
    for item in row:
        if hasattr(item, "isupper") and item.isupper():
            Name.append(item)
            break
    else:
        Name.append(None)
df1["Name"] = Name
df1 =df1.drop(['Information1','Information2','Information3','Information4'], 
              axis=1)

この結果

        Name
Person1 None
Person2 MARCO
Person3 None
Person4 A. ELIZABETH JONES.

となりますが、この場合Prof. HANA YAMADAやMr. ADAMSははじかれてNoneになってしまいます。理想は

        Name
Person1 ADAMS
Person2 MARCO
Person3 HANA YAMADA
Person4 A. ELIZABETH JONES.

のように役職名や敬称を省いて大文字で示されている名前のみ取り出したいです。
何か有効な方法がございましたらよろしくお願い致します。

行動規範の内容に同意します

回答2件

ベストアンサー

https://docs.python.jp/3/library/re.html
https://qiita.com/wanwanland/items/ce272419dde2f95cdabc

正規表現と、

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.apply.html

applyを組み合わせてみてはいかがでしょう。

雰囲気だけ。

python
1import pandas as pd
2import numpy as np
3
4df1 = pd.DataFrame({'Information1' : [19, 'game. tennis','Prof. HANA YAMADA', 'Canada.'],
5                    'Information2' : ['books', 24, 'Shopping.','A. ELIZABETH JONES.'],
6                    'Information3' : ['Mr. ADAMS', 'Italy', 'Japan', 23],
7                    'Information4' : ['Australia', 'MARCO', 25, 'movies']},
8                    index = {'Person1','Person2','Person3', 'Person4'}
9                   )
10
11import re
12f = re.compile(r"\b[A-Z]+\b")
13def ff(item):
14    ans = f.findall(item)
15    if len(ans) == 0:
16        return ''
17    else:
18        return ' '.join(ans)
19
20tdf = df1.astype(str).applymap(ff)
21tdf = tdf.apply(sorted, axis=1, reverse=True)
22print(tdf)

投稿2018/02/22 11:32

編集2018/02/22 13:19

mkgrei

総合スコア8560

python3beginner

2018/02/22 16:25

回答ありがとうございました！正規表現をきちんと使ったことはなかったので、挙げていただいたサイトでも確認致しました。なるほど、"\b[A-Z]+\b"で最初から最後まで大文字で表されているものという表現になるのですね。とても勉強になりました。

行動規範の内容に同意します

mkgreiさんのおっしゃっている正規表現に使い方をよく知らないので、愚直にtitleを取り除く関数を作ってみました。

python
1def remove_titles(s):
2    titles = ["Mrs", "Prof."]  # 適宜追加してください。
3    for title in titles:    
4        s = s.replace(title, "")
5    return s.lstrip().rstrip() # remove white spaces
6
7
8Name = []            
9titles = ["Mr.", "Dr.", "Prof."]
10for row in df1.itertuples():
11    for item in row:            
12        if isinstance(item, str):
13            item = remove_titles(item)
14            if item.isupper():
15                Name.append(item)
16                break
17    else:
18        Name.append(None)