PyQtのGUIに入力した値からスクレイピングによる書き出し作業を行いたい

前提・実現したいこと

PyQtのGUIに入力した値からスクレイピングによる書き出し作業を行いたいです。

内容を簡単に説明します。
先にPythonでスクレイピングコードを書きました。
その作業は指定したURLの情報からさらに指定したHTMLコードから情報を抽出する。というものになります。

それが裏側のコードで今回お伺いしたい内容が下記の画像のようにGUIのコードも用意しております。しかし、"現在はまだ入力して実行しても何もできない"状態です。
今回、実現したい内容ですが"対象のサイトURL"に入力した値に対して商品名や価格を書き出したいです。

スクレイピングコードで実現できた、出力する値をGUIの空になっているdataに入力するなどを試みましたエラーになり、実現が難しくあり、今回投稿しました。

目的の実現にはどのような処理や修正が必要になるでしょうか...

該当のソースコード

【スクレイピングのコード】

from bs4 import BeautifulSoup
import urllib.request as req
import csv

f = open('url.txt') 
lines2 = f.readlines() 
f.close()


pa = []

# 取得
for line in lines2: 
	url = "xxxxxxxxxxxxxx" + line
	res = req.urlopen(url)
	soup = BeautifulSoup(res, 'html.parser')

	title1 = soup.select('#item_title')

	for i in title1:
	    pt = i.get_text().replace('\n', '').replace('\r', '')


	p_list = soup.select('#price')

	for i in p_list:
	    pl = i.get_text().replace('\n', '').replace('\r', '')

	pa += [pt, pl]
	

	# CSV 書き出し
with open('price.csv', 'w', encoding='utf-8') as _file:
	writer = csv.writer(_file, lineterminator='\n')
	writer.writerow(pa)

【PyQtのコード】

# /user/bin/pyrhon3
# -*- coding: utf-8 -*-

import sys
from PyQt5.QtWidgets import (QApplication, QWidget, QPushButton, QTableWidgetItem, QTableWidget)
import logging

data = []
class tableTest01(QTableWidget):
    """   テーブルを形成する関数  """
    def __init__(self, data, *args):
        QTableWidget.__init__(self, *args)
        self.data = data
        self.setdata()
        self.resizeColumnsToContents()
        self.resizeRowsToContents()

    def setdata(self):
        #ヘッダーを作成
        horHeaders = ['対象サイトのURL', '商品名', '現在価格', '希望価格']
        self.setHorizontalHeaderLabels(horHeaders)
        #テーブルにデータをセット
        for n in range(len(self.data)):
            print("n=%d" % n)
            for m in range(len(self.data[n])):
                print("m=%d" % m)
                newitem = QTableWidgetItem(data[n][m])
                self.setItem(m, n, newitem)




if __name__ == '__main__':
    app = QApplication(sys.argv)
    """ 大枠 """
    window = QWidget()
    window.resize(500, 500)
    window.setStyleSheet('background-color: #F2F2F2;')

    """ ボタン """
    button = QPushButton('スクレイピングを開始', window) # button
    button.resize(255, 72)
    button.setStyleSheet("background-color:#F2FBEF; margin-top:25px; margin-left:25px; font-wight:bold; font-family:'Meiryo'; letter-spacing: 10px;")

    table = tableTest01(data, 3, 4)
    table.show()
    window.show()

    sys.exit(app.exec_())

行動規範の内容に同意します

回答1件

ベストアンサー

スクレイピング側のコードを関数化して、listを返す形に変更。
PyQt側はボタンをクリック時イベントで、上記関数を呼び出すように。
tableTest01#setdataはlistを引数に取るようにすればよいのでは。

スクレイピング側でlistを返すサンプルコードです。

Python
1# -*- coding: utf-8 -*-
2from bs4 import BeautifulSoup
3import urllib.request as req
4import csv
5
6def get_content() ->list:
7    with open('url.txt') as f:
8        lines2 = f.readlines()
9
10    pa = []
11    # 取得
12    for line in lines2:
13        url = "xxxxxxxxxxxxxx" + line
14        res = req.urlopen(url)
15        soup = BeautifulSoup(res, 'html.parser')
16
17        title1 = soup.select('#item_title')
18
19        for i in title1:
20            pt = i.get_text().replace('\n', '').replace('\r', '')
21
22        p_list = soup.select('#price')
23
24        for i in p_list:
25            pl = i.get_text().replace('\n', '').replace('\r', '')
26
27        pa += [pt, pl]
28    return pa
29
30
31def main() -> None:
32    pa = get_content()
33    # CSV 書き出し
34    with open('price.csv', 'w', encoding='utf-8') as _file:
35        writer = csv.writer(_file, lineterminator='\n')
36        writer.writerow(pa)
37
38
39if __name__ == '__main__':
40    main()
41