ファイルからデータフレーム作成

Question

前提

https://serenard.hatenablog.com/entry/2019/04/07/164337
WindowsでPython3.9を用いています。
現在上のサイトを参考に、青空文庫から複数の小説の文章だけのデータを保存している状態です。その中から学習に使用する作者と作品を選んで新たにファイルを作成しました。
例. D:novel/select/作者名/作品名.txt
これらを用いてDoc2Vecに用いる学習用のデータフレームを作成しようと思っています。
そのためにpandasのデータフレームについて調べたのですが、osのファイルを用いた方法がなかなか見つからずとどまってしまっている状態です。

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• names,textをカラムとすると、namesに作者名、textに文章データの文章といったデータフレームを作成したいです。

・作者名はファイル名から、小説のデータはosのtxtファイルから、とすることは可能でしょうか？

該当のソースコード

https://pythondatascience.plavox.info/pandas/pandas%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E3%83%95%E3%83%AC%E3%83%BC%E3%83%A0%E3%82%92%E4%BD%9C%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%88%E3%81%86
このサイトを参考に手を付けて見たものの全然進んでいないコードになります。

import pandas as pd
import os

path = './select/'
df = pd.dataframe({ 'names' : ,
                    'text' : })

Comments

[jbpb0]

https://teratail.com/help/avoid-asking
の「過去に投稿した質問と同じ内容の質問」を見てください

https://teratail.com/questions/384fuvh044dbd7

[Unwise]

そうなのでしたか、申し訳ありません

Answer 1

globによってファイルパスを取得できるので、そこから作者名とテキスト内容を取得しリストに入れます。
最後にリストからデータフレームを作成すればよいです。

import glob
import pandas as pd

names, texts = [], []
for path in glob.glob(r'.\select\*\*.txt'):
    name = path.split('\\')[-2] # 作者
    names.append(name)
    texts.append(path) # とりあえずファイル名をセット

df = pd.DataFrame({'names':names, 'text':texts})
print(df)
"""
   names                  text
0  Alice  .\select\Alice\a.txt
1  Alice  .\select\Alice\b.txt
2    Bob    .\select\Bob\c.txt
"""

Comments

[Unwise]

ありがとうございます！試してみます

[Unwise]

無事に動作しました！可能であれば重ねての質問失礼いたします。データフレームを表示させた際、textの部分に上記のコメントの通りファイルのパス名が表示されるのですが、これは文章データが直接格納されているという認識でよろしいのでしょうか？

[can110]

いえ。

[Unwise]

ありがとうございます、助かりました。