質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.02%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

別のデータフレームのセルの情報を条件にして、データフレームの抽出を行いたい

UCHY
UCHY

総合スコア1

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

2回答

0グッド

0クリップ

199閲覧

投稿2022/11/19 07:39

前提

2ヵ月ほど前からpythonを触り始めました。
NoとDataの2つの列からなるデータフレーム(df1)上から、特定のNoの間の区間を複数個所抽出したい。凡そ1万行くらいのデータ
特定のNoの区間はあらかじめ設定されており、別のデータフレーム(df2)に格納されている。イメージは下記の通りです。
<df1>ここからデータを抽出したい

NoData
110
213
318
10000120

<df2>抽出したいNoが入っているリスト

始めのNo終わりNo
1033
4098
500720
10001450

実現したいこと

・df2で指定された条件の区間のNoをdf1から抽出したい
・可能であれば、抽出されたそれぞれの区間のデータをData1,Data2のように名前付けして列に並べて表示したい。

発生している問題

抽出したい区間が凡そ20区間以下なので、今はdf1からdf2のデータを手打ちで打ち込んでqueryにて抽出してくるというやり方を行っていますが。
同様のことを行いたいデータが複数あり、効率化したい状況です。

該当のソースコード

import pandas as pd import numpy as np df1 = pd.DataFrame(np.arange(20000).reshape(10000, 2),columns=['No', 'Data']) df1['No'] = range(len(df1)) df1['Data']=np.linspace(0,120,10000) df2 = pd.DataFrame(np.arange(12).reshape(6,2),columns=['Start_No','End_No']) df2['Start_No']=[10,800,1300,3000,4000,8000] df2['End_No']=[130,1100,2500,3700,6000,8000] df_a = df1.query("10<=No<=130") df_a['No']=range(len(df_a)) df_a = df_a.rename(columns={'Data':'Data1'}) df_b = df1.query("800<=No<=1100") df_b['No']=range(len(df_b)) df_b = df_b.rename(columns={'Data':'Data2'}) df_fin= pd.merge(df_a,df_b,on=["No"],how="outer") print(df1) print(df2) print(df_fin)

試したこと

いろいろ調べたのですが手打ち以外の手段を見つけられていません。。

補足情報(FW/ツールのバージョンなど)

google colabを使っています。

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

TakaiY

2022/11/19 07:47

df2['Start_No']=[10,800,1300,3000,4000,8000] df2['End_No']=[130,1100,2500,3700,6000,8000] こうなってますが、これ、Dataframeにする必要ありますか?

回答2

2

区間のデータをdfにする必要がなければこんな感じで。

python

1start_list = [10,800,1300,3000,4000,8000] 2end_list = [130,1100,2500,3700,6000,8000] 3 4tmp_result = [] 5for start, end in zip(start_list, end_list): 6 df_tmp = df1.query(f"{start}<=No<={end}") 7 df_tmp['No']=range(len(df_tmp)) 8 df_tmp = df_tmp.rename(columns={'Data':'Data1'}) 9 tmp_reslt.append(df_tmp) 10df_fin= pd.merge(tmp_result,on=["No"],how="outer")

こんな感じでどうでしょう。 未確認なので、間違えているかもしれませんg。
また、startとendを別にしなくていいのであれば、

python

1section_list = [[10, 130], [800, 11000], ...]

とすれば、zipは不要ですし、わかりやすいかと。

投稿2022/11/19 07:55

TakaiY

総合スコア10557

spoofy_dragon, UCHY😄を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

UCHY

2022/11/19 22:07

ありがとうございます。 答えていただいたコードで試してみようと思います。 ベストアンサーは完全にやっていただいた上の方にしますが、触り始めたばかりなので、いろいろなやり方を教えていただき大変助かります。

1

ベストアンサー

python

1import pandas as pd 2import numpy as np 3 4N = 10000 5df1 = pd.DataFrame({ 6 'No': range(1, N+1), 7 'Data': np.random.randint(0, 120, N) 8}) 9 10df2 = pd.DataFrame({ 11 '始めのNo': [10, 40, 500, 1000], 12 '終わりNo': [33, 98, 720, 1450], 13}) 14 15# 16dfx = df2.apply(lambda x: df1[df1['No'].between(*x)], axis=1).to_list() 17dfx = pd.concat(dfx).reset_index(drop=True) 18print(dfx) 19 20# 21 No Data 220 10 56 231 11 107 242 12 43 253 13 14 264 14 12 27.. ... ... 28750 1446 58 29751 1447 30 30752 1448 99 31753 1449 105 32754 1450 62 33 34[755 rows x 2 columns]

可能であれば、抽出されたそれぞれの区間のデータをData1,Data2のように名前付けして列に並べて表示したい。

区間の長さ(行数)が異なるので、不足分は NaN で埋められる事になります。

python

1dfx = df2.apply(lambda x: df1[df1['No'].between(*x)].reset_index(drop=True), axis=1).to_list() 2cols = [f'{c}{i}' for i, dfi in enumerate(dfx, start=1) for c in dfi.columns] 3dfx = pd.concat(dfx, axis=1).set_axis(cols, axis=1) 4print(dfx) 5 6# 7 No1 Data1 No2 Data2 No3 Data3 No4 Data4 80 10.0 28.0 40.0 52.0 500.0 8.0 1000 22 91 11.0 90.0 41.0 23.0 501.0 98.0 1001 104 102 12.0 90.0 42.0 66.0 502.0 25.0 1002 91 113 13.0 32.0 43.0 63.0 503.0 86.0 1003 9 124 14.0 78.0 44.0 104.0 504.0 39.0 1004 1 13.. ... ... ... ... ... ... ... ... 14446 NaN NaN NaN NaN NaN NaN 1446 39 15447 NaN NaN NaN NaN NaN NaN 1447 113 16448 NaN NaN NaN NaN NaN NaN 1448 78 17449 NaN NaN NaN NaN NaN NaN 1449 96 18450 NaN NaN NaN NaN NaN NaN 1450 57 19 20[451 rows x 8 columns]

投稿2022/11/19 08:11

編集2022/11/19 08:37
melian

総合スコア16433

UCHY😄を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

UCHY

2022/11/19 22:11

双方に丁寧に回答いただきありがとうございました。 完全にやりたいことが出来そうです。

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.02%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。