Pythonでテキストファイルからマッチしたデータを取得したい

Question

前提・実現したいこと

大学の授業データをスクレイピングしてまとめています。pdfminerで取得して変換した2つのテキストデータのようにぐちゃぐちゃで思ったようにデータを取得できません。取得したいデータは科目の名前、教師の名前、単位数、前期か後期かの4つです。それらを多次元の辞書でまとめる必要があります。

ただしテキストデータのように欲しいデータはぐちゃぐちゃですが、ほしいデータはそれぞれの題目にスペースを1つ挟んだ次の行に必ず存在しています。これを使ってデータを取得しようとしてますが思うようにコードがかけないです。

発生している問題・エラーメッセージ

エラーメッセージは発生していません

該当のソースコード

import sys
sys.path.append('C:\Python38\lib\site-packages')
import os
import shutil
from os import path

from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfinterp import PDFPageInterpreter, PDFResourceManager
from pdfminer.pdfpage import PDFPage

def convert_text():
    # textディレクトリ作成、既に存在すれば全削除＆再作成
    this_path = os.getcwd() + '\app\Http\Python\text'
    exists = os.path.exists(this_path)
    if (exists == True):
        shutil.rmtree(this_path)
        os.mkdir(this_path)
    else:
        os.mkdir(this_path)

    # pdfディレクトリのファイル全取得
    this_path = os.getcwd() + '\app\Http\Python\pdf'
    files = []
    for file in os.listdir(this_path):
        if os.path.isfile(os.path.join(this_path, file)): # ファイルのみ
            files.append(file)

    for file in files:
        # pdfフォルダからファイル取得, 拡張子を.txtに変換
        this_path = os.getcwd() + '\app\Http\Python\pdf\'
        input_path = this_path + file
        this_path = os.getcwd() + '\app\Http\Python\text\'
        output_path = this_path + file.replace('.pdf', '.txt')

        # コンバート
        manager = PDFResourceManager()
        with open(output_path, "wb") as output:
            with open(input_path, 'rb') as input:
                with TextConverter(manager, output, codec='utf-8', laparams=LAParams()) as conv:
                    interpreter = PDFPageInterpreter(manager, conv)
                    for page in PDFPage.get_pages(input):
                        interpreter.process_page(page)

import os
import glob
import sys

def get_data():
    # テキストファイル取得
    this_path = os.getcwd() + '\app\Http\Python\text'
    files = glob.glob(this_path + '\*.txt')    

    # データ取得
    data_list = []
    for file in files:
        with open(file, 'r', encoding="utf-8") as f:
            line = f.readlines()
            teacher = line[6].replace('\n', '')
            subject = line[10].replace('\n', '')
            semester = line[12].replace('\n', '')
            credit = line[16].replace('\n', '')
            data = [teacher, subject, semester[-2:], credit]
            data_list.append(data)
            
    return data_list

2020/04/09(木)16:02

科目ナンバー　0000000000

教員名

教員名の名前

科目名

科目の名前

開講年度学期 2020年度 前期

単位数

1

2020/04/09(木)15:07

科目ナンバー 

000000000

開講年度学期 2020年度 前期

科目名

科目の名前

教員名

教員の名前

単位数

2

試したこと

現状テキストの行番号を指定して取得していますが、それだと当然ですがうまくいきません。

Answer 1

科目ナンバー　0000000000 というように、同じ行にある場合も考えるのであれば、正規表現を使う必要があるでしょう。こういうやり方も覚えておいてください。

import re

def read_text(filename):
    with open(filename) as f:
        text_data = f.read()
    return text_data

def check_date(text_data):
    m = re.search(r'(\d{4}/\d{2}/\d{2}(.)\d{2}:\d{2})', text_data)
    if m:
        return m.group()
    else:
        return ''

def check(item, text_data):
    m = re.search(item + '[ \u3000\n]+([^\n]+)\n*', text_data)
    if m:
        return m.groups()[0]
    else:
        return ''

def pickup_from_text(text_data):
    result = {'日時' : check_date(text_data)}
    for item in ['科目ナンバー', '教員名', '科目名', '開講年度学期', '単位数']:
        result[item] = check(item, text_data)
    return result

if __name__ == '__main__':
    import sys
    print(pickup_from_text(read_text(sys.argv[1])))

今回のデータには全角空白が入っていたので正規表現の中に'\u3000'も入れる必要がありました。

fc2LiveAdultさんの書いた二つのデータをdata1.txt、data2.txtとしたときの実行結果は以下です。

teratail> python pickupfromtext.py data1.txt
{'日時': '2020/04/09(木)16:02', '科目ナンバー': '0000000000', '教員名': '教員名の名前', '科目名': '科目の名前', '開講年 度学期': '2020年度 前期', '単位数': '1'}
teratail> python pickupfromtext.py data2.txt
{'日時': '2020/04/09(木)15:07', '科目ナンバー': '000000000', '教員名': '教員の名前', '科目名': '科目の名前', '開講年度学期': '2020年度 前期', '単位数': '2'}

Comments

[fc2LiveAdult]

お二方ともありがとうございました！
正規表現。。勉強してみます。。

Answer 2

下記の基本的な考え方
ファイルを読み取って全行をリストに格納（最初の20行でもいいかもしれないですが）。
行を１つ１つ調べて、たとえばその行が 「科目名」ならば「科目名の行数(subject)」としてマーク。

あとから各行について、2行後を真データとして採用します。（ただし前期後期はその行の改行を除く最後2文字）

def get_data():
    # テキストファイル取得
    this_path = os.getcwd() + '\app\Http\Python\text'
    files = glob.glob(this_path + '\*.txt')    

    # データ取得
    data_list = []
    for file in files:
        with open(file, 'r', encoding="utf-8") as f:
            line = f.readlines()
        # ここから修正
        for i, text in enumerate(line):
            text = text.replace('\n', '')
            if text == '教員名':
                teacher = i
            elif  text == '科目名':
                subject = i
            elif text[:4] == '開講年度':
                semester = i
            elif text == '単位数':
                credit = i
           
        data = [line[teacher+2], 
            line[subject+2],
            line[semester][-3:],
            line[credit+2]　]
        data_list.append(data)

    return data_list

上記の残りのブラッシュアップの余地として、
・教員名、科目名～とかのテキストがきちんとスキャンできていなかった時のエラートラップ
・条件文字が最後から2行前以降にあったときエラートラップ
とかですかね。