pandas,numpy 読み込んだcsv文字列を別のcsvに参照

Question

Python3.X(anaconda)を利用しています。

以下の表現をしたいと考えています。

まずデータを読み込みます。

aa=pd.read_csv( 'a.tsv', delimiter='\t' )
bb=pd.read_csv( 'bb.tsv', delimiter='\t' )

中身はaaは
id a b c
x aiu 3 7
x eo 4 8
x kaki 5 9
とし、a列内の文字列(aiu,eo,kaki)を抽出します。

acolumn=aa['a']

この抽出したあるa.tsvのa列のカラムをb.tsvのカラムの抽出に利用したく考えています。
中身はbbは
name aiu eo kaki ku ke ko
1 2 5 8 11 14 17
2 3 6 9 12 15 18
3 4 7 10 13 16 19
となっています。
ここで、aaのa列とマッチするaiu eo kaki列のみ抽出したいので
bb[acolumn]としたいのですがうまくいかず
以上の処理を実現するには数コード足りないようでエラーを以下のように出します。
Must pass DataFrame with boolean values only

手打ちで、

acloumn=['aiu','eo','kaki']

とすれば早いかもしれませんが
できれば

acolumn=aa['a']

で

['aiu', 'eo', 'kaki']

と出力できるようにできれば最適です。

お知恵をお貸しいただけますと大変にありがたいです。
何卒よろしくお願いします。

Answer 1

予めキーの存在を確認するのが良いのではないでしょか

pandas の DataFrame は、Python の辞書と同じ扱いが可能なので、

bbにaaの指定した列がない場合

'aiu' in bb

でチェックできます。

もし合致しないindexがあったとしても合致するものだけマッチさせる

acolumn = [key for key in aa["a"] if key in bb]

とすると、bb にあるキーのみを取り出したリストを作れます。

集合を用いると、より簡潔に記述出来ます。
pandas では pd.Index が ordered set としても扱えるので

acolumn = pd.Index(aa['a']) & bb.columns

aa['a'] で現れるキーの順序は保たれています。
（Pythonにも組み込みの集合型が有りますが、順序を保持するには一手間必要）

データの規模が大きくなって来た時の処理は、Pythonのデータで処理するよりも
pandas のデータで扱う方が効率良いです。

Answer 2

python3.5/virtualenv 上に pip でインストールした Pandas 19.0 にて
bb[aa['a']] で aaのa列とマッチする bbのaiu eo kaki列のみ抽出出来ました。

bb[acolumn]としたいのですがうまくいかず

エラー内容からPandasのソースを追っての判断ですが,
bb[acolumn] の acolumn の型が DataFrame の場合＆特定条件の時に
件のエラーメッセージが出るようです。

問題は、提示されてるコード以外にありそうですが

• 環境やバージョンに起因する問題を疑う場合 -> バージョン等についての詳細
• エラーメッセージの内容を解消したい -> 問題を再現できる完全なコードの提示をお願いします

恐らく acolumn への代入辺りで意図しない事になってるのではと推測します。

参考迄に、自分が試したコードを添付します。

from io import StringIO


# テスト用データの為, バッファからデータを読み込みます.
a_csv_data = StringIO("""id	a	b	c
x	aiu	3	7
x	eo	4	8
x	kaki	5	9""")

b_csv_data = StringIO("""name	aiu	eo	kaki	ku	ke	ko
1	2	5	8	11	14	17
2	3	6	9	12	15	18
3	4	7	10	13	16	19
""")


def main():
    import pandas as pd
    from functools import partial
    read_tsv = partial(pd.read_csv, delimiter='\t')

    aa = read_tsv(a_csv_data)
    bb = read_tsv(b_csv_data)

    # 一応, Pythonのリストに変換も可能
    acolumn = list(aa['a'])
    print(acolumn) # => ['aiu', 'eo', 'kaki']

    # Serieseが渡っている場合は成功
    print(bb[aa['a']])

    # DataFrame を渡すとエラー
    print(bb[aa])


if __name__ == '__main__':
    main()

Comments

[Tweet_from_JG]

返信が遅くになり大変に失礼しました。大変にわかりやすい回答をありがとうございます！
非常に助かりました。
これは回答してもしなくてもいい疑問なのですが確かにこの手法でうまくいきました。
本当にありがとうございます。
ただ、１点質問があります。（これは回答しなくても、しても問題ありません。もしお暇であったり余裕があればご教示いただけましたら幸いです。）
acolumn = list(aa['a'])にてリスト化した文字列
acolumn =['aiu','eo','kaki']
となるはずですが、これをbb[acloumn]としたときにbbにaaの指定した列がない場合
KeyError: "['aiu'] not in index"
と返される場合があるかと思います。もしこういったエラーをださないよう、もし合致しないindexがあったとしても合致するものだけマッチさせるとするとどういった処理が適切でしょうか？
余裕があればご教示くださいますと大変に助かります。何卒よろしくお願いいたします。