🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

openpyxl

openpyxlは、Excel2007以降のファイル(xlsx/xlsm/xltx/xltm)を読み書きするためのPythonライブラリです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

1回答

5063閲覧

【Python】スクレイピングしたデータをエクセルに出力したい

sasu46

総合スコア9

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

openpyxl

openpyxlは、Excel2007以降のファイル(xlsx/xlsm/xltx/xltm)を読み書きするためのPythonライブラリです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2020/12/13 06:32

編集2020/12/18 03:14

前提・実現したいこと

プログラミング初心者です。対象ページからスクレイピングし、エクセルに各行追加していくというプログラムを作ろうとしています。
皆さんお忙しい中、申し訳ございません。
よろしくお願いします。

URLを取得するサイトは【ミスミ】というサイトを想定しています。
https://jp.misumi-ec.com/

早速ですが私が想定している作りたいものは...プログラムを実行→ウィンドウが出る→ミスミサイトの商品ページのURLをコピペ→URL取込用ウィンドウに貼り付け&取込ボタンを押して取り込む→エクセルの指定のセルに値を書き込み。ウィンドウに違う商品ページのURLを続けて貼り付け&取り込むと既存に書き込みしたセルの真下のセルに新しく書き込む。というものを想定しています。

現在の私のコードを実行すると...

①URL取込用のウィンドウが出てくる。
②対象のサイトページのURLをコピーする。
③URL取込用ウィンドウをクリックすると自動でコピーしたURLが貼り付けられる。
④データ取得ボタンを押す。
⑤「エクセルデータの書き出しが完了しました。」と画面に表示される。
※リストという名前のExcel BookがPythonファイルと同じところに入っている前提。
⑥Excelを開くと、G列の2行目に価格が入力される。
⑦続けてURL取込用ウィンドウに別の商品ページのURLを貼り付け&取り込むとG列の2行目に上書きされてしまう。

こんな感じになります。価格は無事入力されるのですが、上記のように続けてまた別のURLをウィンドウに貼り付け取り込むと、G列の2行目に上書きされてしまいます。

理想としては、セルの中に値が入っていれば、そのすぐ下のセルに値を入れる。
という感じにしたいです。
それで、appendというメソッドを使ってみたのですが、エラーは出ないもののうまく下の行に追加とは行かないです。
説明が下手で申し訳ありません。。。

該当のソースコード

Python

1 2import requests 3import datetime 4import pandas as pd 5import pyperclip 6import requests, bs4 7from bs4 import BeautifulSoup 8import tkinter as tk 9from tkinter import messagebox 10import urllib.request as req 11import openpyxl 12def pasteUrl(e): #テキストボックスがクリックされた時にURLを貼り付ける 13 urlText.delete("1.0","end") 14 urlText.insert("1.0",pyperclip.paste()) 15def getData(): #データを取得してExcelブックに追加する 16 url = urlText.get("1.0", "end") #1文字目から最後まで取得 17 res = req.urlopen(url) 18 html_soup = BeautifulSoup(res, "html.parser") 19 price = html_soup.find('span', class_='mc-num').contents[0]#サイトの価格を取得 20 data = [price] 21 22 wb = openpyxl.load_workbook('リスト.xlsx') 23 sheet = http://wb.active 24 25 for i ,prices in enumerate(data, start=2): 26 sheet.cell(row=i, column=7, value=prices) 27 data.append(data) 28 29 # 保存して閉じる 30 http://wb.save('リスト.xlsx') 31 wb.close() 32 messagebox.showinfo("完了", "エクセルデータの書き出しが完了しました。") 33 34#GUIの用意 35root = http://tk.Tk() 36root.title("商品データ書き出し") #タイトルの設定 37root.geometry("700x55") #サイズの設定 38root.grid() 39urlLabel = tk.Label(root,text="URL") 40urlText = tk.Text(root,borderwidth = 3,height =3,relief="ridge") 41urlText.bind("<Button-1>",pasteUrl) 42getButton = tk.Button(root,text="データ取得",command=getData) #データ取得ボタン 43urlLabel.grid(row=1,column=1) 44urlText.grid(row=1,column=2) 45getButton.grid(row=1,column=3) 46root.mainloop() #ウィンドウを表示 47

試したこと

URL取込用ウィンドウに続けてURLを追加していくので、追加したら既存のデータを上書きせずに真下のセルに値を入力したいのでappendメソッドを使っていますが、エラーは出ないものうまく書き込めません。

dataというリストに格納してそこに新しい値を追加しても、エクセルの既存の値が入っているセルの真下に追加ということはできませんよね?

そもそもappendやfor文などでこういう場合は書くのでしょうか?

分かりずらい説明で申し訳ありません。

補足情報(FW/ツールのバージョンなど)

URLを取得するサイトは【ミスミ】というサイトを想定しています。
https://jp.misumi-ec.com/

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

rysh

2020/12/13 06:56

丸投げに見えます
sasu46

2020/12/13 07:07

そうですよね???? 試したこととかもう少し書くべきでしょうか? この質問サイトも初めてなので???? 申し訳ないです????‍♂️
KojiDoi

2020/12/13 07:17

> 例えばG2セルに書き込んだら次に新しいURLが入力されたらG3セルに書き出す ちょっと何言ってるのかわかりません。いつ何を誰が書き込むの? その新しいURLとやらを書き込むのですか?
sasu46

2020/12/13 08:15

もう一度書き直してみます! 僕もなんて言い回せばいいのかわからなくて???? 申し訳ございません。
rysh

2020/12/13 08:22

やりたい事が複雑なので、分割して何が出来ていないか確認してみましょう。 案外単純なところで詰まっていて何が分からないか確認する間に答えがわかってしまう事もありますよ。
sasu46

2020/12/13 09:27 編集

ryshさん!僕自身も整理してみます! 本当に申し訳ないです。 アドバイスありがとうございます????‍♂️
guest

回答1

0

Python

1 for i ,prices in enumerate(data, start=2): 2 sheet.cell(row=i, column=7, value=prices)

ここのループのなかでprint(i)してrowに入れる数字がちゃんと増えてるか確認してもらえます?

投稿2020/12/15 02:16

rysh

総合スコア874

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sasu46

2020/12/15 13:27

ryshさん!ご回答ありがとうございます! このループの中でprint(i)しましたが、コマンドプロンプトで確認したところ "2" という数字だけ表示されていました。 また続けて違う商品ページのURLを入力し取り込むと同じく "2" と表示されました。
rysh

2020/12/15 22:26

sheet.cell(row=i, column=7, value=prices) のすぐ下の行に i += 1 と書くとどうです?
sasu46

2020/12/16 11:56

すぐ下に i+= 1と書きました。 コマンドプロンプトで "3" と表示されました! また続けて違う商品ページのURLを入力し取り込むと同じく "3" と表示されました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問