pythonを使ってPDFファイルからデータを抽出したい

Question

初めてスクラピングやっています
このURL [https://www.jpx.co.jp/listing/stocks/new/nlsgeu000005bzt3-att/03Broad-Minded-Outline.pdf]のデータを表に入れ込みたいです。仕事上で頻繁にやる作業なので自動化をはかりたい。

import pdfplumber
import re
import requests
from bs4 import BeautifulSoup
from datetime import datetime as dt
import pandas as pd

url = 'https://www.jpx.co.jp/listing/stocks/new/nlsgeu000005bzt3-att/03Broad-Minded-Outline.pdf'

def download_file(url):
    local_filename = url.split('/')[-1]
    
    with requests.get(url) as r:
        with open(local_filename, 'wb') as f:
            f.write(r.content)
        
    return local_filename

ap = download_file(url)
ap

with pdfplumber.open(ap) as pdf:
    page = pdf.pages[0]
    text = page.extract_text()
    
print(text)

for line in text.split('\n'):
    print(line)
    el_num = line.split()
    print(el_num)

ここまで何とかググりながらたどり着いたが、この後はもうわかりません。ヒントなど教えていただければと思います。
例えば　最初の行を二つのセルに分けたいです

1. 会 社 名 2. ブロードマインド株式会社

2列のデータフレームを作れたらいいと思います

splitをかけた後、１文字づつになっているものが１列目　複数で一塊になっているのが２列目でしょうがreの使い方をイマイチわからない

どうぞよろしくお願いします

Answer 1

中点が文字化けするので、手抜きの処理です。

import pdfplumber
import re
import requests
import pandas as pd

items = '''会 社 名
（ 英 訳 名 ）
上 場 予 定 日
市 場 区 分
既 上 場 市 場
代 表 者 の 役 職 氏 名
本 店 所 在 地
Tel
（最寄りの連絡場所）
ホームページアドレス
設 立 年 月 日
事 業 の 内 容
業 種 別 分 類.*コ ー ド
銘 柄 略 称
銘 柄 順 位
発 行 可 能 株 式 総 数
発 行 済 株 式 総 数
上場時発行済株式総数
資 本 金
１ 単 元 の 株 式 数
事 業 年 度
定 時 株 主 総 会
基 準 日
剰余金の配当の基準日
株 主 名 簿 管 理 人
監 査 人
幹 事 取 引 参 加 者'''

item_list = items.split('\n')
item_list2 = item_list.copy()
item_list2[12] = '業 種 別 分 類 コ ー ド'

url = 'https://www.jpx.co.jp/listing/stocks/new/nlsgeu000005bzt3-att/03Broad-Minded-Outline.pdf'

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url) as r:
        with open(local_filename, 'wb') as f:
            f.write(r.content)
    return local_filename

ap = download_file(url)
ap

with pdfplumber.open(ap) as pdf:
    page = pdf.pages[0]
    text = page.extract_text()

#print(text)

i = 0
contents = []
for line in text.split('\n')[4:]:
    item = item_list[i]
    m = re.match('('+item_list[i]+')(.+)', line)
    if m:
        contents.append([m.groups()[1].strip()])
        i = i+1
        if i >= len(item_list):
            break
    else:
        contents[-1].append(line.strip())

df = pd.DataFrame({'items':item_list2, 'contents':['\n'.join(x) for x in contents]})

実行結果は以下です。

>>> print(df)
              items                                           contents
0             会 社 名                                       ブロードマインド株式会社
1         （ 英 訳 名 ）                            （Broad-Minded Co.,Ltd.）
2         上 場 予 定 日                                         2021年3月26日
3           市 場 区 分                                               マザーズ
4         既 上 場 市 場                                                 なし
5   代 表 者 の 役 職 氏 名                                       代表取締役社長 伊藤 清
6         本 店 所 在 地                        〒150‐0022 東京都渋谷区恵比寿南一丁目5番5号
7               Tel                                       03‐6859‐8358
8        （最寄りの連絡場所）                                               （同上）
9        ホームページアドレス                          https://www.b-minded.com/
10        設 立 年 月 日                                          2002年1月9日
11        事 業 の 内 容  個人及び法人向けに保険代理店業、住宅ローン代理業、金融商品仲介\n業、宅地建物取引業に係るソ...
12  業 種 別 分 類 コ ー ド                 保険業・7343（新証券コード（ISIN）JP3831510007）
13          銘 柄 略 称                                         Ｍ－ブロードマインド
14          銘 柄 順 位                                       Ｍ－アイペットＨＤの次位
15  発 行 可 能 株 式 総 数                                        18,280,000株
16    発 行 済 株 式 総 数                           4,570,000株（2021年2月19日現在）
17       上場時発行済株式総数  5,170,000株\n（注）１．公募分を含む。\n２．新株予約権の権利行使により増加する可...
18            資 本 金                            283,790千円（2021年2月19日現在）
19    １ 単 元 の 株 式 数                                               100株
20          事 業 年 度                                        4月1日から3月31日
21      定 時 株 主 総 会                                      毎事業年度終了後3ヵ月以内
22            基 準 日                                              3月31日
23       剰余金の配当の基準日                                        9月30日、3月31日
24    株 主 名 簿 管 理 人                                         三菱ＵＦＪ信託銀行㈱
25            監 査 人                                         太陽有限責任監査法人
26    幹 事 取 引 参 加 者                                             みずほ証券㈱

Comments

[samankoar]

@ppaul ご回答ありがとうございました。確かにdfとして出てきました。ただ最初のitemsをどうとればいいのかわからないです。同じサイトの英語版、例えば　https://www.jpx.co.jp/english/listing/stocks/new/b5b4pj000003yozk-att/03Broad-Minded-OutlineEN.pdf　にitemsの作成に苦節しています。変なとこに改行があったり…単純に　i = 0
contents = []
for line in text.split('\n’)[6:]:
item = item_list[i]
m = re.match('('+item_list[i]+')(.+)', line)
if m:
contents.append([m.groups()[1].strip()])
i = i+1
if i >= len(item_list):
break
else:
contents[-1].append(line.strip())

df = pd.DataFrame({'items':item_list2, 'contents':['\n'.join(x) for x in contents]}) でいけません。またもアドバイス頂ければありがたいです

Answer 2

天下の日本取引所が提出させるデータ。
どの法人を見てもフォーマットはきっちり固まってるみたい（どの項目が並んでいるか、が法人によりほとんどバラつきがない）なんで、
まずは
coporation = line.replace("会 社 名","").lstrip()

とかでちまちまやった方が楽なんじゃないでしょうか。