python pandas データフレームを列ごとにソートししたはずが他の列もソートされている

Question

あるデータフレームを列ごとに並び替えをしたく、下記のコードを書いて実行したところ
最終列の結果のみソートされ、他の列はソートされていませんでした。
for文で回さずに、1列のみsort したところ、その列はソートされていたことから、for文を
回した際に、他の列の値まで影響を受けているように思います。

また、このデータフレームにはランダムにnanが含まれているため、
列ごとにソートして、最後にすべての列がnanの行を削除したいと考えております。

正常に動かない原因や間違いなどございましたら教えていただけませんでしょうか。

countname = ["a1","b1","c1","d1"]
count_res = pd.DataFrame(index=100,columns=countname)


for j in countname:
    count_res.sort_values('{}'.format(j),na_position="last", inplace=True)

実現したいことは、nanがランダムに含まれるデータフレームの数値を上から詰めていき、
最後に、すべての列がnanとなっている行を削除したいです。

のようにしたいということです。
これを、列ごとにソートして実現しようとしておりました。

Comments

[meg_]

やりたい事は何でしょうか？具体例を提示されると回答しやすいかと思います。

[TheBullchannel]

追記させていただきました。

Answer 1

pd.DataFrame.sort_values()メソッドは、特定の列を基準にしてデータフレームの行を並び替えるメソッドです。

In [11]: count_res
Out[11]:
     a1    b1    c1    d1
0     1     3     4  None
1  None     2     3     4
2     2  None     4     3
3  None     3     2  None
4     3  None  None  None

In [12]: count_res.sort_values('a1')
Out[12]:
     a1    b1    c1    d1
0     1     3     4  None
2     2  None     4     3
4     3  None  None  None
1  None     2     3     4
3  None     3     2  None

---

今回の質問では各列内のデータを並び替えるということで、列ごとに.sort_values()を適用させる（※）必要がありますので、例えば.apply()メソッドを使って、

※このときインデックスを無視しなければ最後に整列されて元のフレームと同じものが返ってきてしまうのでignore_index=Trueを指定するか、reset_index()メソッドをさらに適用する。

In [13]: count_res.apply(lambda x: x.sort_values(ignore_index=True))
Out[13]:
     a1    b1    c1    d1
0     1     2     2     3
1     2     3     3     4
2     3     3     4  None
3  None  None     4  None
4  None  None  None  None

In [14]: count_res.apply(lambda x: x.sort_values().reset_index(drop=True))
Out[14]:
     a1    b1    c1    d1
0     1     2     2     3
1     2     3     3     4
2     3     3     4  None
3  None  None     4  None
4  None  None  None  None

Comments

[TheBullchannel]

データフレームを更新していると思っていたのですが、applyで適用しなければならなかったのですね。
大変参考になりました。
ご回答ありがとうございました。

Answer 2

実現したいことは、nanがランダムに含まれるデータフレームの数値を上から詰めていき、最後に、すべての列がnanとなっている行を削除したいです。

そういうのを最初に書いてくれればとても簡単です。

>>> print(count_res)
           a1        b1        c1        d1
0    5.384058  0.026853  0.076923  2.716981
1    1.507645       NaN  1.945513  3.923077
2    0.177189  0.435654  2.516245  0.294964
3   47.000000  1.015123  0.104000  0.018237
4         NaN       NaN  1.258297  0.932941
5    0.081967       NaN  0.045249  0.501319
6    0.805804  5.803681  0.083333  0.443567
7    1.565878       NaN  0.610422       NaN
8         NaN  2.991228       NaN       NaN
9         NaN  0.465946  0.457447  0.632156
10   2.848485  2.640625  0.626437  0.607256
11        NaN  0.626437       NaN  1.708333
12   0.662539  0.076923  1.446903  2.848485
13   1.760814  0.457447  1.824497  0.960552
14   3.505682  0.276029  0.717063  0.753906
15   0.646630  0.304942       NaN  4.103226
16   1.762832  1.921788  1.762832       NaN
17   0.741304  2.336323  0.465946  0.617564
18   4.420000  0.255647  0.443567  1.582996
19   0.071301       NaN  0.805804  2.336323
>>> temp = count_res.copy()
>>> temp[temp.columns] =float("NaN")
>>> for column in count_res.columns:
...     temp[column] = count_res[column].dropna().reset_index(drop=True)
...
>>> result = temp.dropna(how='all')
>>> print(result)
           a1        b1        c1        d1
0    5.384058  0.026853  0.076923  2.716981
1    1.507645  0.435654  1.945513  3.923077
2    0.177189  1.015123  2.516245  0.294964
3   47.000000  5.803681  0.104000  0.018237
4    0.081967  2.991228  1.258297  0.932941
5    0.805804  0.465946  0.045249  0.501319
6    1.565878  2.640625  0.083333  0.443567
7    2.848485  0.626437  0.610422  0.632156
8    0.662539  0.076923  0.457447  0.607256
9    1.760814  0.457447  0.626437  1.708333
10   3.505682  0.276029  1.446903  2.848485
11   0.646630  0.304942  1.824497  0.960552
12   1.762832  1.921788  0.717063  0.753906
13   0.741304  2.336323  1.762832  4.103226
14   4.420000  0.255647  0.465946  0.617564
15   0.071301       NaN  0.443567  1.582996
16        NaN       NaN  0.805804  2.336323

でいいですか。

問題が変わってしまったので、以下は無視してください。

TheBullchannelさんがやりたいこととpandasのソートに仕様が違っています。

やりたいことは、以下のコードでできるでしょう。

for j in countname:
    df[countname]=df[countname].sort_values(na_position="last").reset_index()[countname]

Comments

[TheBullchannel]

ご回答ありがとうございます。
count_res[countname]=count_res[countname].sort_values(na_position="last").reset_index()[countname]
に変更して実行したところ、TypeError: sort_values() missing 1 required positional argument: 'by'
とエラーが出ました。

そのため、byの引く数を入れ、
count_res[countname]=count_res[countname].sort_values(by=['{}'.format(j)],na_position="last").reset_index()[countname]
再度実行したところ、もとの結果となってしまいました。

[ppaul]

TypeError: sort_values() missing 1 required positional argument: 'by'がでるのはおかしいですね。
ひょっとして、
countname = [["a1"],["b1"],["c1"],["d1"]]
とかになっていませんか？

[TheBullchannel]

ありがとうございます。
尾恥ずかしながらdropnaの存在をすっかり忘れておりました。
dropnaを使ったことで、すんなりと解決いたしました。
ありがとうございました。