質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.49%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

203閲覧

Python3のDataframeで表がうまく作成されない

退会済みユーザー

退会済みユーザー

総合スコア0

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2019/05/29 08:17

編集2019/05/29 15:04

Python3初学者です。
ヤフオクのデータをスクレイピングするサンプルを作ってみました。
商品名、価格、落札日を取得できたのでDataFrameを使ってCSV形式にしたかったのですがうまくできませんでした。

できたこと
・最後の1件のみDataFrameで表示(画像)

できなかったこと
・残りのデータはDataFrameで表示されず。

1件だけでなく全てのデータをDataFrameに入れたいです。
よろしくお願いします。
※DataはDataFrameに入れていません。

from bs4 import BeautifulSoup import requests import numpy as np from pprint import pprint import pandas as pd # ヤフオク-> ブランド別 -> 価格が高い順 html_doc = requests.get("https://auctions.yahoo.co.jp/closedsearch/closedsearch?p=1%E5%86%86&auccat=23172&va=1%E5%86%86&b=1&n=20&select=2").text # BeautifulSoupの初期化 soup = BeautifulSoup(html_doc, 'html.parser') # 商品名 titles = soup.find_all("h3", {"class": "Product__title"}) for title in titles: print (title.a.string) # 落札価格 prices = soup.find_all("span", {"class": "Product__priceValue"}) for price in prices: print (price.string) # 日付 datas = soup.find_all("span", {"class": "Product__time"}) for data in datas: print (data.string) Title = (title.a.string) Price = (price.string) Data = (data.string) columns = ["Title", "Price"] # 列名を指定する df1 = pd.DataFrame(columns=columns) # 行を作成 se = pd.Series([Title, Price], columns) # データフレームに行を追加 df1 = df1.append(se, columns) df1

イメージ説明

イメージ説明
print (title.a.string)の出力結果

イメージ説明
print (price.string)の出力結果

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

インデントの位置で処理変わるのが原因でした。。

from bs4 import BeautifulSoup import requests import numpy as np import pandas as pd from google.colab import files # ヤフオク-> ブランド別 -> 価格が高い順 html_doc = requests.get("https://auctions.yahoo.co.jp/closedsearch/closedsearch?auccat=23172&b=1&n=100&select=2").text # BeautifulSoupの初期化 soup = BeautifulSoup(html_doc, 'html.parser') columns = ["url", "title"] df2 = pd.DataFrame(columns=columns) details = soup.find_all('h3', class_='Product__title') for detail in details: url = detail.a.get('href') title = detail.a.string se = pd.Series([url, title], columns) df2 = df2.append(se, columns) filename = "result.csv" df2.to_csv(filename, encoding = 'utf-8-sig') files.download(filename)

投稿2019/05/30 03:27

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.49%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問