データフレームを並べ替えて、縦方向に連結させたい

Question

前提・実現したいこと

以下のデータフレームdf1,df2があります。

(df1)
#         身長   体重   成績  過去成績
# A       160   70     3      2
# B       165   55     2      3
# C       150   50     1      1

(df2)
#         身長  体重    成績  過去成績
# A       162   46     1      3
# B       168   58     3      2
# C       170   60     2      1

実現したいことはdf1,df2をそれぞれ成績順にソートして一つのデータフレームにすることです。
concat()を使って実現させようと思いましたが、結合させるdfが多数あるため他の方法を模索しています。

(df1+df2)
#         身長   体重   成績  過去成績
# C       150   50     1      1
# B       165   55     2      3
# A       160   70     3      2
# A       162   46     1      3
# C       170   60     2      1
# B       168   58     3      2

最終的には上記のようにデータフレームを形成するのが目的です。df1の中で成績順にソートし、df2の中で成績順にソートして一つのdfにしたいと思っています。何かいい方法があれば教えてください。

追記

何度も申し訳ありません。教えていただいた方法で実装しようと試みたのですが、色々と自分の技量が足らず、実装できませんでした。「ループ１回毎にリストに追加」という流れは理解できたのですが、どのようにコードに適用し、記述すれば実装できるのかがいまだに理解できておりません。
以下が現在のコードでどのように変更すれば、実現できるのか、教えていただけないでしょうか。

rank_list = []
height_list = []
weight = []

for i in soup_html:
    content = i.find_all(class_='Num')
    for i in content:
        rank = i.text
        rank = rank.replace('\n', '')
        rank_list.append(rank)

for i in soup_html:
    content = i.find_all(class_='height')
    for i in content:
        height = i.text
        height = height.replace('\n', '')
        height_list.append(height)

for i in soup_html:
    content = i.find_all(class_='weight')
    for i in content:
        weight = i.text
        weight = weight.replace('\n', '')
        weight_list.append(weight)


df = pd.DataFrame()
df['成績'] = rank_list
df['身長'] = height_list
df['体重'] = weight_list

Answer 1

pandas.concat() を使います。

import pandas as pd

pd.set_option('display.unicode.east_asian_width', True)

df1 = pd.DataFrame({
      '身長': [160, 165, 150],
      '体重': [ 70,  55,  50],
      '成績': [  3,   2,   1],
  '過去成績': [  2,   3,   1],
}, index = ['A', 'B', 'C'])

df2 = pd.DataFrame({
      '身長': [162, 168, 170],
      '体重': [ 46,  58,  60],
      '成績': [  1,   3,   2],
  '過去成績': [  3,   2,   1],
}, index = ['A', 'B', 'C'])

df3 = pd.concat(i.sort_values('成績') for i in (df1, df2))

print(df3)
#
   身長  体重  成績  過去成績
C   150    50     1         1
B   165    55     2         3
A   160    70     3         2
A   162    46     1         3
C   170    60     2         1
B   168    58     3         2

追記

以下が現在のコードでどのように変更すれば、実現できるのか

以下、かなり冗長ですが書き換えの一例として参考にして下さい(動作保証はありません)。

df_list = []
for s in soup_html:
    rank_list = []
    height_list = []
    weight = []
    df = pd.DataFrame()

    content = s.find_all(class_='Num')
    for i in content:
        rank = i.text
        rank = rank.replace('\n', '')
        rank_list.append(rank)
    df['成績'] = rank_list

    content = s.find_all(class_='height')
    for i in content:
        height = i.text
        height = height.replace('\n', '')
        height_list.append(height)
    df['身長'] = height_list

    content = s.find_all(class_='weight')
    for i in content:
        weight = i.text
        weight = weight.replace('\n', '')
        weight_list.append(weight)
    df['体重'] = weight_list

    # for i in soup のループが1回完了する毎にリストに追加します
    df_list.append(df.sort_values('成績'))

# 全て取得したら縦に連結
df_all = pd.concat(df_list)

Comments

[tomoysh]

コメントありがとうございます。
この方法だとforの部分にデータフレームの個数分df3,df4等と記述しなければならないのでしょうか？
結合したいdfが1000個近くあります。

あるいはデータフレームを作る際にデータフレーム毎にソートして、for ループでdf1,df2,df3.....df1000などと、縦方向に追加していくというような手法は可能なのでしょうか?
可能であれば手法を教えていただきたく思います。

[melian]

データフレームを作成する手順は、例えば CSV ファイルが1000個くらいあって、それらを read_csv() などでデータフレーム化しているのでしょうか？

[tomoysh]

beautifulsoupでスクレイピングしたデータからデータフレーム化しています。
pd.DataFrame()で作成しそこにデータを追加する手法で行っています。

[melian]

そうですね、それではデータフレームのリスト（例えば df_list という名前)を作って追加していくのはどうでしょうか。
df_list = []
df_list.append(スクレイピングして作ったデータフレーム)
そうすれば pd.concat(i.sort_values('成績') for i in df_list) とすればよいことになります。

[tomoysh]

昨日からその手法での実装を試みているのですが、うまくいきません。
df_list.append()のところは()に i など変数を入れてfor文で回していくということでしょうか?
具体的なコードで教えていただければ大変参考になります。

[melian]

i などの変数ではなく個々のデータフレームを入れます。「スクレイピングしたデータからデータフレーム化」のデータフレーム化をどうやっているのか、具体的なコードを提示していただけないでしょうか？ それが判ればもう少し適切なコメントができそうです。

[tomoysh]

rank_list = []
for i in soup:
content = i.find_all(class_='A')
for i in content:
rank = i.text
rank_list.append(rank)

df = pd.DataFrame()
df['成績']　= rank_list

上記のような手法でDFを作成しています。身長、体重も同じ手法でlistを作成し,df['身長']=height_list df['体重']=weight_listのようにdfに追加しています。

for i in soup:でsoupを取得(ここが1000個近くある部分)
そして、for i in content:でその中の成績、身長、体重を取得(この一つのcontentの中でソートしたい)
このようなコードで試みています。よろしくお願いします。

[melian]

回答に追記してみましたが、間違いがありましたら指摘して下さい。

[tomoysh]

質問欄に現在の状況を記載しました。お力添えいただきたく思います。

[tomoysh]

なんとか実装でき、とりあえず動く形になりました。コードが長々となっているので、さらに自分なりに知識を得てブラッシュアップしてみようと思います。
丁寧なご説明ありがとうございました。