質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.34%

  • Python

    9187questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • pandas

    674questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

TextファイルからpandasのDataFrameを作成する方法について

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 445

k0908

score 85

0,19990214
1,1001    Tom    30    59    20    41    59
2,1002    Judy    40    50    31    53    60
・
・
・
0,19991215
1,1001    Tom    45    69    30    21    69
2,1002    Judy    50    20    71    43    70

というデータが記載されたtextファイルがあります。

このファイルの中身をTom のデータだけ取り出して、

“Date”         ”A”     ”B”              ”C”           ”D”        ”E”
 19990214    30     59               20               41          59
 19990215    40    100           80             79       30
・
・
・
19991215         45      69              30               21           69


というDataFrameに変形したいです。

df = pd.read_table("socre.txt", names=["ID","Name","A","B","C","D","E"])
df.query('Name == "Tom"’)
del df['ID']
del df['Name']
df

とコードを書いて実行すると、
“Date”のデータはないDataFrameができます。このDataFrameに行毎の19990214や19991215を“Date”に入れたいのですが、どのようにコードを書いたら良いでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+2

とりあえずデータは

df = pd.read_table("socre.txt",
                   names=["ID","Date","Name","A","B","C","D","E"],
                   sep='\s+|,'
                   engine='python')

のように セパレータに "space"と"comma" の2つを指定すると読めるのではないでしょうか。

このDataFrameに行毎の19990214や19991215を“Date”に入れたいのですが

これは少し面倒ですね・・

とりあえず、サンプルを書いてみました(余分な処理も入れてありますので少し長くなりましたが・・)ので参考にしてみてください

import pandas as pd
import io

data="""
0,19990214
1,1001    Tom    30    59    20    41    59
2,1002    Judy    40    50    31    53    60
0,19991215
1,1001    Tom    45    69    30    21    69
2,1002    Judy    50    20    71    43    70
"""

df = pd.read_table(
    io.StringIO(data),
    names=["ID", "Date", "Name", "A", "B", "C", "D", "E"],
    sep='\s+|,',
    engine='python')

# IDが"0"である行を区切りにGroupIDを振る
df['GroupID'] = (df.ID == 0).cumsum()
# GroupIDをDateに変換するためのテーブルを作成
conv = df.loc[df.ID==0, ['GroupID','Date']].set_index('GroupID').iloc[:,0]
# 各GroupIDからDateを生成して Date列に代入
df['Date'] = df.GroupID.map(conv)
# Date列をDatetime型に変換
df['Date'] = pd.to_datetime(df.Date.astype(str))
# 余分なデータを削除
df = df.drop(df[df.ID == 0].index)
df = df.drop(columns=['GroupID'])
# Indexを振りなおす
df = df.reset_index(drop=True)
# これでまともなDataFrameになったはず
print(df)
#0   1 1999-02-14   Tom  30.0  59.0  20.0  41.0  59.0
#1   2 1999-02-14  Judy  40.0  50.0  31.0  53.0  60.0
#2   1 1999-12-15   Tom  45.0  69.0  30.0  21.0  69.0
#3   2 1999-12-15  Judy  50.0  20.0  71.0  43.0  70.0

# 後は'Tom'を取り出す
print(df[df.Name=='Tom'])
#   ID       Date Name     A     B     C     D     E
#0   1 1999-02-14  Tom  30.0  59.0  20.0  41.0  59.0
#2   1 1999-12-15  Tom  45.0  69.0  30.0  21.0  69.0

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/07/27 17:54

    ありがとうございます。
    df = pd.read_table(
    io.StringIO(data),
    names=["ID", "Date", "Name", "A", "B", "C", "D", "E"],
    sep='\s+|,',
    engine='python')
    を実行すると、

    キャンセル

  • 2018/07/27 17:55

    ParserError: Expected 8 fields in line 193, saw 15. Error could possibly be due to quotes being ignored when a multi-char delimiter is used.
    とエラーが出ます。

    キャンセル

  • 2018/07/27 17:55

    その前に、
    ParserWarning: Falling back to the 'python' engine because the 'c' engine does not support regex separators (separators > 1 char and different from '\s+' are interpreted as regex); you can avoid this warning by specifying engine='python'.
    """Entry point for launching an IPython kernel.

    とwarnignも出ます。jupyternotebookではsep='\s+|,'が使えないのでしょうか?

    キャンセル

  • 2018/07/29 23:38

    すみません、自己解決できました!ありがとうございます

    キャンセル

同じタグがついた質問を見る

  • Python

    9187questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • pandas

    674questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。