質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.60%

  • Python

    7495questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Windows

    1406questions

    Windowsは、マイクロソフト社が開発したオペレーティングシステムです。当初は、MS-DOSに変わるOSとして開発されました。 GUIを採用し、主にインテル系のCPUを搭載したコンピューターで動作します。Windows系OSのシェアは、90%を超えるといわれています。 パソコン用以外に、POSシステムやスマートフォンなどの携帯端末用、サーバ用のOSもあります。

【Python】GUIのbutton操作からスクレイピング機能の実装を行いたい

受付中

回答 0

投稿

  • 評価
  • クリップ 0
  • VIEW 122

rina0366

score 33

 前提・実現したいこと

現在、PyQtを用いてGUIによるスクレイピング機能の実装を行いたいと考えております。

まず、下記のコードの"スクレイピングのコード"の説明を致します。
url.txtから既存のURLを取り出して、必要な情報を取得します。
その後、CSVへの書き出しの処理を行います。
こちらは問題なく行えます。

次にその下の"GUIによるコード"ですがこちらは現在buttonによるイベント実行は行えるようコーディングしております。
ただ、スクレイピングを行ったコードとの連携ができていないため、スクレイピングを実行とbutton操作をしても全て"失敗"と表記されてしまいます。

今回、実現したい処理ですが、スクレイピング機能のコードを使い、それをGUIに書き出す作業をしたいです。

イメージ説明

 試したこと

空のdata変数のなかにスクレイピング処理を吐き出すための変数を用いるなどしましたが、それとは違うようでうまく実行できませんでした。

 該当のソースコード

スクレイピング機能のソースコード

from bs4 import BeautifulSoup
import urllib.request as req
import csv

f = open('url.txt') 
lines2 = f.readlines() 
f.close()


pa = []

# 取得
for line in lines2: 
    url = "https://xxxxxxxxxxxxxxx" + line
    res = req.urlopen(url)
    soup = BeautifulSoup(res, 'html.parser')

    title1 = soup.select('#item_title')

    for i in title1:
        pt = i.get_text().replace('\n', '').replace('\r', '')


    p_list = soup.select('#price')

    for i in p_list:
        pl = i.get_text().replace('\n', '').replace('\r', '')

    pa += [pt, pl]


    # CSV 書き出し
with open('price.csv', 'w', encoding='utf-8') as _file:
    writer = csv.writer(_file, lineterminator='\n')
    writer.writerow(pa)

GUIによるコード

# /user/bin/pyrhon3
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import urllib.request as req
import csv
import sys
from PyQt5.QtWidgets import (QApplication, QWidget, QPushButton, QTableWidgetItem, QTableWidget, QMainWindow)

data = []

class tableTest01(QTableWidget):
    """   テーブルを形成する関数  """
    def __init__(self, data, *args):
        QTableWidget.__init__(self, *args)
        self.data = data
        self.setdata()
        self.resizeColumnsToContents()
        self.resizeRowsToContents()

    def setdata(self):
        #  ヘッダーを作成
        horHeaders = ['対象サイトのURL', '商品名', '現在価格', '希望価格']
        self.setHorizontalHeaderLabels(horHeaders)
        #  テーブルにデータをセット
        for n in range(len(self.data)):
            print("n=%d" % n)
            for m in range(len(self.data[n])):
                print("m=%d" % m)
                newitem = QTableWidgetItem(data[n][m])
                self.setItem(m, n, newitem)



def startScrapy():
    try:
        f = open('sample.csv')
        lines2 = f.readlines()
        f.close()
        pa = []

        # 取得
        for line in lines2:
            url = "https://www.suruga-ya.jp/product/detail/" + line
            res = req.urlopen(url)
            soup = BeautifulSoup(res, 'html.parser')
            title1 = soup.select('#item_title')
            if len(title1) > 0 :
                for i in title1:
                    pt = i.get_text().replace('\n', '')
            else:
                pt = 'Nothing Product Name'
            p_list = soup.select('#price')
            if len(p_list) > 0 :
                for x in p_list:
                    pl = x.get_text().replace('\n', '').replace('\r', '')
            else:
                pl = 'Nothing Product Price'
            pa += [line, pt, pl, 0]
            print(pa)
        return pa
    except:
        print("失敗")

if __name__ == '__main__':
    app = QApplication(sys.argv)
    """ 大枠 """
    window = QWidget()
    window.resize(500, 500)
    window.setStyleSheet('background-color: #F2F2F2;')

    """ ボタン """
    button = QPushButton('スクレイピングを開始', window) # button
    button.resize(255, 72)
    button.setStyleSheet("background-color:#F2FBEF; margin-top:25px; margin-left:25px; font-wight:bold; font-family:'Meiryo'; letter-spacing: 10px;")
    button.clicked.connect(startScrapy)



    window.show()

    sys.exit(app.exec_())
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正の依頼

  • umyu

    2018/06/06 11:42

    この2つの質問と何が違うのですか? https://teratail.com/questions/129490 https://teratail.com/questions/129600

    キャンセル

  • rina0366

    2018/06/06 11:48

    最初に質問したときは内容を勘違いしておりました。その次に質問をした内容に関しまして書き出しの処理が追加されたので2つ重複しました。

    キャンセル

  • umyu

    2018/06/06 11:51

    質問分は編集できますー。新規に投稿すると回答が分散するので。どちらか削除依頼をおこなってくださいな。

    キャンセル

  • rina0366

    2018/06/06 12:00

    はい!そのように致します。ありがとうございます!

    キャンセル

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.60%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    7495questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Windows

    1406questions

    Windowsは、マイクロソフト社が開発したオペレーティングシステムです。当初は、MS-DOSに変わるOSとして開発されました。 GUIを採用し、主にインテル系のCPUを搭載したコンピューターで動作します。Windows系OSのシェアは、90%を超えるといわれています。 パソコン用以外に、POSシステムやスマートフォンなどの携帯端末用、サーバ用のOSもあります。