前提・実現したいこと
python3 selenium Beautiful Soupを使って 「複数ページ」から データを取得して、その後 とpandas かimport csvで 複数ページのデータを整形して CSVに出力したいと考えています
ここに質問の内容を詳しく書いてください。
各ページからスクレイピングで項目の値を取得するまでは出来たのですが、
複数ページのデータを、CSVデータに「まとめて出力」するには、BeautifulSoup かpandasか、どの部分で どのように処理していくのが望ましいでしょうか?
具体例
複数ページに 特定の項目があり、各ページから値を取得
ページ1
項目aの値:page1_aaa
項目bの値:page1_bbb
項目cの値:page1_ccc
ページ2
項目aの値:page2_aaa
項目bの値:page2_bbb
項目cの値:page2_ccc
ページ3
項目aの値:page3_aaa
項目bの値:page3_bbb
項目cの値:page3_ccc
複数ページの各項目データを整形して 「まとめてCSV出力したい」
整形順番 a,b,c→b,c,a
こんなCSVファイルにしたい
列1 列2 列3
項目bの値,項目cの値,項目aの値
page1_bbb,page1_ccc,page1_aaa
page2_bbb,page2_ccc,page2_aaa
page3_bbb,page3_ccc,page3_aaa
試したこと
Beautiful soupで 各ページごとに値を取得しているが、各ページごとの項目を、どこで(Bs4orpandas)データを合算すればいいでしょうか
Beautiful Soup で各ページのデータを合算できたほうがスマートだと思うのですが、そのやり方がさっぱりわからなかったので、
import csv のopen で 引数を'a'追記にして 1ページずつデータをCSVに追記している状況です。
複数ページから 特定の項目データを取得して、まとめてCSV出力する。
これを実現するために、効率的な やり方があれば教えていただけますと幸いです
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2021/07/10 07:28