scrapyを使用したスクレイピングのデータ整形

Question

前提・実現したいこと

scrapyを利用して下記の階層構造のWebページをクローリング、スクレイピングしています。

hoge.com/results/2020-08-01
┣　/AAA.html
┣　/BBB.html

AAA,BBB..の各ページは成績表になっており、

• タイトル(文字列)
• 実施日(文字列)
• 順位(リスト)
• 順位ごとの名前や年齢(リスト)

のように文字列とリストで取得をおこなっているため、CSVでは

Title|Date|Rank|Name
|:--|:--:|--:|
|AAA|2020-08-01|1,2,3,4|A,B,C,D
BBB|2020-08-01|1,2,3,4|A,B,C,D

上記のようにURLごとにレコードとして出力されます。

このテーブルを下記のように配列をカラムとして
列に並ぶように出力したいのですが対応方法がわからず、、
有識者の方にご助言を頂けますと幸いでございます。

|Title|Date|Rank|Name
|:--|:--:|--:|
|AAA|2020-08-01|1|A
|AAA|2020-08-01|2|B
|AAA|2020-08-01|3|C
|AAA|2020-08-01|4|D
|BBB|2020-08-01|1|A
|BBB|2020-08-01|2|B
|BBB|2020-08-01|3|C
|BBB|2020-08-01|4|D

該当のソースコード

class RankSpider(scrapy.Spider):
    name = 'rank'
    allowed_domains = ['hoge.com']
    start_urls = ['http://hoge.com/results/2020-08-01']

    def parse(self, response):
         for url in response.css('a[class="XXX"]::attr("href")').extract():
             yield scrapy.Request(response.urljoin(url), self.parse_item)

    def parse_item(self, response):
        item = RankingItem()
        item['Title'] = response.css('h1::text').get()
        item['Date'] = response.css('div.date::text').get()
        item['Rank'] = response.css('li h3.number::text').getall()
        item['Name'] = response.css('li h4.name::text').getall()
        yield item

Answer 1

CSV部分の分割でしたらこれでいけます。

import pandas as pd
from io import StringIO

s = '''"Title","Date","Rank","Name"
"AAA","2020-08-01","1,2,3,4","A,B,C,D"
"BBB","2020-08-01","1,2,3,4","A,B,C,D"'''
df = pd.read_csv(StringIO(s))

df = (df.set_index(['Title', 'Date'])
    .stack()
    .str.split(',', expand=True)
    .stack()
    .unstack(-2)
    .reset_index(-1, drop=True)
    .reset_index()
)

print(df)

'''
  Title        Date Rank Name
0   AAA  2020-08-01    1    A
1   AAA  2020-08-01    2    B
2   AAA  2020-08-01    3    C
3   AAA  2020-08-01    4    D
4   BBB  2020-08-01    1    A
5   BBB  2020-08-01    2    B
6   BBB  2020-08-01    3    C
7   BBB  2020-08-01    4    D
'''

追記
動作確認はできてないのですが、scrapy.Item継承クラスと辞書型は相互変換ができるらしいので、
それを利用してpandasを利用するのが楽だと思います。

import pandas as pd

rs = RankSpider()

#scrapy.Item継承クラスを辞書型に変換
drs = dict(rs)
#辞書型をpandas.DataFrameに変換
df = pd.DataFrame.from_dict(drs, orient='index').T
#pandas.DataFrameを辞書型に変換
drs = df.to_dict()
#辞書型をscrapy.Item継承クラスに変換
rs = RankSpider(drs)

Comments

[kajimaru315]

yureighostさん

ご回答ありがとうございます！
pandsを使用しての処理があるんですね。

無知で申し訳ないのですが、こちらは
スクレイピング用のスパイダーとは別にpands用のファイルを作成して
実行するのでしょうか？

1.スクレイピングスパイダーで情報取得
↓
2.取得した情報を別のpyファイルにインポート
↓
3.インポートしたファイルを整形
↓
4.CSVに生成

このようなイメージですか？

[kajimaru315]

yureighostさん
ありがとうございます。
頂いた内容で一度試してみます！