質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.54%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

2回答

528閲覧

別のデータフレームのセルの情報を条件にして、データフレームの抽出を行いたい

UCHY

総合スコア1

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2022/11/19 07:39

前提

2ヵ月ほど前からpythonを触り始めました。
NoとDataの2つの列からなるデータフレーム(df1)上から、特定のNoの間の区間を複数個所抽出したい。凡そ1万行くらいのデータ
特定のNoの区間はあらかじめ設定されており、別のデータフレーム(df2)に格納されている。イメージは下記の通りです。
<df1>ここからデータを抽出したい

NoData
110
213
318
10000120

<df2>抽出したいNoが入っているリスト

始めのNo終わりNo
1033
4098
500720
10001450

実現したいこと

・df2で指定された条件の区間のNoをdf1から抽出したい
・可能であれば、抽出されたそれぞれの区間のデータをData1,Data2のように名前付けして列に並べて表示したい。

発生している問題

抽出したい区間が凡そ20区間以下なので、今はdf1からdf2のデータを手打ちで打ち込んでqueryにて抽出してくるというやり方を行っていますが。
同様のことを行いたいデータが複数あり、効率化したい状況です。

該当のソースコード

import pandas as pd import numpy as np df1 = pd.DataFrame(np.arange(20000).reshape(10000, 2),columns=['No', 'Data']) df1['No'] = range(len(df1)) df1['Data']=np.linspace(0,120,10000) df2 = pd.DataFrame(np.arange(12).reshape(6,2),columns=['Start_No','End_No']) df2['Start_No']=[10,800,1300,3000,4000,8000] df2['End_No']=[130,1100,2500,3700,6000,8000] df_a = df1.query("10<=No<=130") df_a['No']=range(len(df_a)) df_a = df_a.rename(columns={'Data':'Data1'}) df_b = df1.query("800<=No<=1100") df_b['No']=range(len(df_b)) df_b = df_b.rename(columns={'Data':'Data2'}) df_fin= pd.merge(df_a,df_b,on=["No"],how="outer") print(df1) print(df2) print(df_fin)

試したこと

いろいろ調べたのですが手打ち以外の手段を見つけられていません。。

補足情報(FW/ツールのバージョンなど)

google colabを使っています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

TakaiY

2022/11/19 07:47

df2['Start_No']=[10,800,1300,3000,4000,8000] df2['End_No']=[130,1100,2500,3700,6000,8000] こうなってますが、これ、Dataframeにする必要ありますか?
guest

回答2

2

区間のデータをdfにする必要がなければこんな感じで。

python

1start_list = [10,800,1300,3000,4000,8000] 2end_list = [130,1100,2500,3700,6000,8000] 3 4tmp_result = [] 5for start, end in zip(start_list, end_list): 6 df_tmp = df1.query(f"{start}<=No<={end}") 7 df_tmp['No']=range(len(df_tmp)) 8 df_tmp = df_tmp.rename(columns={'Data':'Data1'}) 9 tmp_reslt.append(df_tmp) 10df_fin= pd.merge(tmp_result,on=["No"],how="outer")

こんな感じでどうでしょう。 未確認なので、間違えているかもしれませんg。
また、startとendを別にしなくていいのであれば、

python

1section_list = [[10, 130], [800, 11000], ...]

とすれば、zipは不要ですし、わかりやすいかと。

投稿2022/11/19 07:55

TakaiY

総合スコア12571

spoofy_dragon, UCHY😄を押しています

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

UCHY

2022/11/19 22:07

ありがとうございます。 答えていただいたコードで試してみようと思います。 ベストアンサーは完全にやっていただいた上の方にしますが、触り始めたばかりなので、いろいろなやり方を教えていただき大変助かります。
guest

1

ベストアンサー

python

1import pandas as pd 2import numpy as np 3 4N = 10000 5df1 = pd.DataFrame({ 6 'No': range(1, N+1), 7 'Data': np.random.randint(0, 120, N) 8}) 9 10df2 = pd.DataFrame({ 11 '始めのNo': [10, 40, 500, 1000], 12 '終わりNo': [33, 98, 720, 1450], 13}) 14 15# 16dfx = df2.apply(lambda x: df1[df1['No'].between(*x)], axis=1).to_list() 17dfx = pd.concat(dfx).reset_index(drop=True) 18print(dfx) 19 20# 21 No Data 220 10 56 231 11 107 242 12 43 253 13 14 264 14 12 27.. ... ... 28750 1446 58 29751 1447 30 30752 1448 99 31753 1449 105 32754 1450 62 33 34[755 rows x 2 columns]

可能であれば、抽出されたそれぞれの区間のデータをData1,Data2のように名前付けして列に並べて表示したい。

区間の長さ(行数)が異なるので、不足分は NaN で埋められる事になります。

python

1dfx = df2.apply(lambda x: df1[df1['No'].between(*x)].reset_index(drop=True), axis=1).to_list() 2cols = [f'{c}{i}' for i, dfi in enumerate(dfx, start=1) for c in dfi.columns] 3dfx = pd.concat(dfx, axis=1).set_axis(cols, axis=1) 4print(dfx) 5 6# 7 No1 Data1 No2 Data2 No3 Data3 No4 Data4 80 10.0 28.0 40.0 52.0 500.0 8.0 1000 22 91 11.0 90.0 41.0 23.0 501.0 98.0 1001 104 102 12.0 90.0 42.0 66.0 502.0 25.0 1002 91 113 13.0 32.0 43.0 63.0 503.0 86.0 1003 9 124 14.0 78.0 44.0 104.0 504.0 39.0 1004 1 13.. ... ... ... ... ... ... ... ... 14446 NaN NaN NaN NaN NaN NaN 1446 39 15447 NaN NaN NaN NaN NaN NaN 1447 113 16448 NaN NaN NaN NaN NaN NaN 1448 78 17449 NaN NaN NaN NaN NaN NaN 1449 96 18450 NaN NaN NaN NaN NaN NaN 1450 57 19 20[451 rows x 8 columns]

投稿2022/11/19 08:11

編集2022/11/19 08:37
melian

総合スコア19436

UCHY😄を押しています

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

UCHY

2022/11/19 22:11

双方に丁寧に回答いただきありがとうございました。 完全にやりたいことが出来そうです。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.54%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

同じタグがついた質問を見る

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。