質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

2回答

1049閲覧

pandasのDataFlameの整形について

arashi1204

総合スコア15

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

1クリップ

投稿2018/12/04 02:07

編集2018/12/04 05:46

データ分析の勉強を始めたものです。
経験者の方からしたら何でもないようなことを質問してしまい申し訳ございませんが、ご教授お願いいたします。

前提・実現したいこと

DataFlameから特定の文字列を含むものだけを抜き出して新たなDataFlameを作成したいです。
下記のDataFlameのように列がずれているものをうまく整形したいのですがうまくいきません。

該当のソースコード

df = pd.DataFrame({'B': ['B2', 'D3', 'B6', 'F7'],
'D': ['D2', 'B3', 'F6', 'D7'],
'F': ['F2', 'F3', 'D6', 'B7']},)

補足のソースコード

df = pd.DataFrame(
{'B': ['time:2018-1-1', 'ip:192.168.1.2', 'time:2018-2-1', 'ip:192.168.5.5'],
'D': ['ip:192.168.10.2', 'time:2018-1-1', 'port:80', 'port:80'],
'F': ['country_japan', 'country_china', 'ip:192.168.9.1', 'time:2018-2-1'],
'G': ['', 'port:80', '', 'country_japan']})

試したこと

カラム内での特定の文字列を含む行の取得、カラムの並び替え、連結
という手法でやってみたのですが、当該DataFlame内の行列数が多いうえにデータの並び順がバラバラなこともあり苦戦しています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

具体的にどのような処理を行いたいのかが不明なのですが・・

とりあえず、df.apply(func, axis=1) とすることで、DataFrameの各行データが
func()関数に引き渡りますので、その関数内でお好みのかたちに整形すると良いかと思います。

以下のサンプルでは func()関数内にて、各行データのIndex値を各セルの値の頭文字に修正しております。(行データのIndexを変更することで、結果的にDataFrameのColumnが変更されることとなります)

Python

1import pandas as pd 2df = pd.DataFrame({'B': ['B2', 'D3', 'B6', 'F7'], 3 'D': ['D2', 'B3', 'F6', 'D7'], 4 'F': ['F2', 'F3', 'D6', 'B7']}) 5 6def func(row): 7 #各データの頭文字でIndexを振りなおす 8 row.index = row.str.get(0).values 9 return row 10 11df = df.apply(func, axis=1) 12# B D F 13#0 B2 D2 F2 14#1 B3 D3 F3 15#2 B6 D6 F6 16#3 B7 D7 F7

投稿2018/12/04 02:51

magichan

総合スコア15898

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

arashi1204

2018/12/04 06:14

ご回答ありがとうございます。 ご教授のとおりずれた列を振りなおしたい、ということでした。 補足ソースのほうでもうまくいくのですが、いざ実データを動かしてみると ValueError: cannot reindex from a duplicate axis というエラーが出てしまいます。
magichan

2018/12/04 06:29

どもです。 サンプルのソースは単にデータの頭文字をColumn名に設定するという仕様で動作しております。 実際のデータがないのであくまで想定ですが、エラーの原因は同じ頭文字のデータが1行に2つ以上ある為かと思われます。 実際にはどのようなデータがあって、そのデータをどのように列に振り分けたいのかの仕様を教えていただけたらもうすこしアドバイスできるかとおもいます。
arashi1204

2018/12/04 07:50

確認したところ、ご指摘の通り1行に同じ頭文字のデータがいくつか入っていました。 実際のデータは補足のデータソースに類似した内容でカラムが多数あるので頭文字だけですと同じ文字を拾ってしまうことになるかと思います。(先頭5文字程度を拾えれば解決可能です) 列としては最終的に time,ip,country,port となるようなDataFlameを作成できればと考えています。 アドバイス宜しくお願い致します。
magichan

2018/12/04 08:31

であれば、 row.index = row.str.get(0) の部分を # セルの値の先頭5文字をIndexにする row.index = row.str[:5] または正規表現を使って # セルの値の先頭にある大文字アルファベットをIndexとする row.index = row.str.extract(r'^([A-Z]+)', expand=False) などに置き換えてみてはどうでしょうか
guest

0

以下のように新しい列を用意して、値の先頭文字で振り分けるとよいと思います。

Python

1import pandas as pd 2 3df = pd.DataFrame({'B': ['B2', 'D3', 'B6', 'F7'], 4'D': ['D2', 'B3', 'F6', 'D7'], 5'F': ['F2', 'F3', 'D6', 'B7']}) 6print(df) 7 8def move_new_col(row): 9 for col in row: 10 row['new_'+col[0]] = col # 「D1」値を「new_D」列にセット 11 return row 12 13df2 = df.apply(move_new_col,axis=1) 14df2 = df2.drop(df.columns,axis=1) 15print(df2) 16""" 17 new_B new_D new_F 180 B2 D2 F2 191 B3 D3 F3 202 B6 D6 F6 213 B7 D7 F7 22"""

投稿2018/12/04 02:38

can110

総合スコア38234

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

arashi1204

2018/12/04 05:56

ご回答ありがとうございます。 いろいろやってみたのですが、データ内にIPアドレスが入っているためか TypeError: ("'float' object is not subscriptable", 'occurred at index 7') というエラーが出てしまいうまくいきませんでした。 strに変換すると今度はapplyがエラーとなってしましました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問