質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

1回答

270閲覧

pandasのDataFrameの中から論理式を満たすデータを抽出したい。

glp

総合スコア102

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2019/06/07 05:11

pandasのDataFrameの中から論理式を満たすデータを抽出したい。

pandas初心者です。入力の中から、後段の処理をする前に明らかなエラーを抽出してレポートを作りたいと思っています。データ抽出の単純な例

a<b a == c

はNet上で見かけて、うまくいくのですが複数の式の組み合わせ抽出がうまくできていません。

用意したテストデータは以下の通りです

| No.|sei| mei| type| name|
|------|-----|-----|------|
|0| 織田| NaN| 団体| NaN|
|1| NaN| 信長| 団体| Fuga|
|2| 織田| 信長| 団体| Fuga|
|3| 羽柴| NaN| 個人| Dayo|
|4| NaN| 秀吉| 個人| NaN|

この中から

  1. sei mei いずれかがNaNなもの
  2. type=="団体" かつname==NaN

を抽出したいと思い、以下のコードを作りました

# -*- coding: utf-8 -*- """ Created on Wed Jun 5 14:31:59 2019 @author: glp """ import numpy as np import pandas as pd df = pd.DataFrame( [['織田', np.nan, '団体', np.nan], [ np.nan, '信長','団体', 'Fuga'], ['織田', '信長','団体', 'Fuga'], ['羽柴', np.nan,'個人', 'Dayo'], [np.nan, '秀吉', '個人', np.nan], ['羽柴', '秀吉', '個人', 'Dayo']], columns = ['sei','mei','type', 'name']) print(df) # sei mei いずれかがNaNの物 err_name = df[ df[ 'name'].isnull() | df[ 'mei'].isnull()] # (1) print(err_name) # type==団体 かつ nameがNaNなもの err_type = df[ df[ 'type']=='団体' & df[ 'name'].isnull() ] # (2) print(err_type)

試してみると条件(1)はうまく抽出できるのですが、(2)は以下のようなエラーになります

Traceback (most recent call last): File "C:\Users\glp\Anaconda3\lib\site-packages\pandas\core\ops.py", line 1789, in na_op result = op(x, y) File "C:\Users\glp\Anaconda3\lib\site-packages\pandas\core\ops.py", line 187, in rand_ return operator.and_(right, left) TypeError: ufunc 'bitwise_and' not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting rule ''safe'' During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:\Users\glp\Anaconda3\lib\site-packages\pandas\core\ops.py", line 1804, in na_op result = libops.scalar_binop(x, y, op) File "pandas/_libs/ops.pyx", line 171, in pandas._libs.ops.scalar_binop ValueError: Does not understand character buffer dtype format string ('?') During handling of the above exception, another exception occurred: Traceback (most recent call last): File "test.py", line 25, in <module> err_type = df[ df[ 'type']=='団体' & df[ 'name'].isnull() ] File "C:\Users\glp\Anaconda3\lib\site-packages\pandas\core\ops.py", line 1850, in wrapper res_values = na_op(self.values, ovalues) File "C:\Users\glp\Anaconda3\lib\site-packages\pandas\core\ops.py", line 1810, in na_op typ=type(y).__name__)) TypeError: cannot compare a dtyped [bool] array with a scalar of type [bool]

forを使い一行づつ判定する方法はうまく動いたのですが、勉強を兼ねてDataFrameからの抽出を
マスターしたいな、と思っています。

どなたかわかる方、教えていただけませんか ?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

演算子の優先順位に問題があります。
err_type = df[ (df[ 'type']=='団体') & (df[ 'name'].isnull()) ] # (2)とカッコをつけてください。

投稿2019/06/07 05:53

can110

総合スコア38258

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

glp

2019/06/07 05:58

ありがとうございました。 早速試したところうまくいきました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問