Python, Scrapyでtd内の複数要素を抽出したい

Question

###■経緯
とあるtableから、3列目のimg数が不規則なtdからsrc属性の値を抽出して、そのテーブル構造（行,列）を保ちながらcsvファイルとして出力を試みています。

その際、複数のimgがtd内にある場合、下のScrapyコードでは、HTML上「◯」のimg srcは抽出できるのですが、「★」の値が抽出できません。

###■質問
HTML上の「◯」「★」両方の値を、テーブル構造（行,列）を保ちながらcsvとして出力できるScrapyコード（XPathの指定方法）を教えていただけますでしょうか。

なんとなくですが、extract_first()の部分をうまく修正すれば2つ目のimg srcの値「★」も抽出できるのではないかと想像しています。

<table>
    <tbody>
        <tr>
            <td>A3</td>
            <td>B3</td>
            <td>
                <img src="../../media/test1.gif">　<!-- ◯ -->
                <img src="../../media/test2.gif">　<!-- ★ -->
            </td>
        </tr>
        <tr>
            <td>A2</td>
            <td>B2</td>
            <td>
                <img src="../../media/test3.gif">
            </td>
        </tr>        
    </tbody>
</table>

table_rows = response.xpath('//table/tbody/tr')

for table_row in table_rows:
        item = TutorialItem()
        item['time'] = table_row.xpath('td[1]/text()').extract_first()
        item['note'] = table_row.xpath('td[3]/img/@src').extract_first()
        yield item

Comments

[seastar3]

XMLの原理とプログラム上での操作の理解が必要な処理ですから、がタブとしては、XPathの前提であるXMLが入るでしょう。PythonでのXML操作入門のサイトをググってみましょう。

Answer 1

scrapyを入れて試してみました
test1.gifとtest2.gifを取得できてますし、test3.gifは違うリストになっているはずですが

CSV出力結果をだしてもらえますか？

https://doc.scrapy.org/en/latest/topics/exporters.html#csvitemexporter
リストの場合カンマで結合されていると思うのですが違うのでしょうか？

scrapy shell ./test.html

for i in response.xpath('//table/tbody/tr'):
    print(i.xpath('td[1]/text()').extract_first())
    print(i.xpath('td[3]/img/@src').extract())
    print('-' * 20)

A3
['../../media/test1.gif', '../../media/test2.gif']
--------------------
A2
['../../media/test3.gif']
--------------------

Comments

[fukazume]

おっしゃる通り、extract()に変更することで期待した通りのリストに格納できていました！shellで試しているうちに見誤ったのかもしれません。お騒がせいたしましたが、得るものもありました。精巧なご指摘ありがとうございました！

Answer 2

scrapyはあまり試したことないのでわかりませんが

サンプルで取得できているのでしたら.extract_first()を.extract()に変更するだけでいいのでは？

.extract_first()は一番最初のデータしか取得できませんので複数取得する場合は.extract()になります。

table_rows = response.xpath('//table/tbody/tr')

for table_row in table_rows:
    item = TutorialItem()
    item['time'] = table_row.xpath('td[1]/text()').extract_first()
    item['note'] = table_row.xpath('td[3]/img/@src').extract()
    yield item

BeautifulSoupでしたら

from bs4 import BeautifulSoup

html = """
<table>
    <tbody>
        <tr>
            <td>A3</td>
            <td>B3</td>
            <td>
                <img src="../../media/test1.gif">　<!-- ◯ -->
                <img src="../../media/test2.gif">　<!-- ★ -->
            </td>
        </tr>
        <tr>
            <td>A2</td>
            <td>B2</td>
            <td>
                <img src="../../media/test3.gif">
            </td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(html, 'html.parser')

for trs in soup.select('tr'):

    result = []

    for tds in trs.select('td'):
        if tds.img:
            for i in tds.select('img'):
                result.append(i.get('src'))
        else:
            result.append(tds.get_text(strip=True))

    print(result)

結果
['A3', 'B3', '../../media/test1.gif', '../../media/test2.gif']
['A2', 'B2', '../../media/test3.gif']

Comments

[fukazume]

ご回答ありがとうございます。extract()ですと、上記サンプルコードを例に取りますと、test1.gif, test2.gif, test3.gif の全てを抽出してしまうんです。。

私は、test1.gifとtest2.gifのimg srcを取得して、対応するフィールド内に格納したい（＝テーブル構造（行,列）を保ちながらcsvファイルとして出力を試みている）のですが、難しいでしょうか？

表題の通り、imgだけに留まらず、pなどtd内に複数要素を記述しているソースに対して、有効な回避策も思いつかず困っている状況です。

[barobaro]

タグ内にimgが二つ以上ある場合はどのような結果にしたいのでしょうか
BeautifulSoupでサンプルと出力結果を書きました。

[fukazume]

こちらのアプローチも参考になりました。ありがとうございます！

Answer 3

pythonでXMLの操作として、次のコードは通りますか。試してみて下さい。

items = response.xpath('//table/tbody/tr/td/img/@src")
for item in items:
	yield item

Comments

[fukazume]

引き続き、ありがとうございます！
@src") → @src') に編集して以下のエラーがズラッと返ってきます。何かヒントになりますでしょうか。

[scrapy.core.scraper] ERROR: Spider must return Request, BaseItem, dict or None, got 'Selector' in 〜

[seastar3]

５行目のコード間違えて申し訳ありません。訂正します。

Answer 4

検証していないのですが、考え方はXMLのやり方でtrタグごとの集合を取り、このtrタグ内のtd/imgの集合を取り、そのsrc属性を配列itmesとして抜き出し、これもitemの要素に分けて戻します。xpathのレベルに対応したforの入れ子のコードになります。

table_rows = response.xpath('//table/tbody/tr')

for table_row in table_rows:
		nodes = table_row.xpath('td/img')

		for node in nodes:
			items = node.xpath('@src')

			for item in items:
        			yield item

Comments

[seastar3]

シンプルに"item = response.xpath('//table/tbody/tr/td/img/@src"でも、配列はとれますが、ご要望のrowごとの編集が入るでしょうから、２重のループにしてみたわけです。

[fukazume]

ご回答ありがとうございます。やはり、
・1つ目のimg src属性の値は、抽出できた
・2つ目のimg src属性の値は、抽出できなかった
という同じ結果でした。

妥協案と言うか、以下のようにimg[2]とXPath指定してあげれば、2つ目のimg srcがある場合に抽出できるのですが。
item['note'] = table_row.xpath('td[3]/img[2]/@src').extract_first()

[seastar3]

src要素もリストですね。もう一度しらみつぶしループにかけてみましょう。

[fukazume]

お付き合いいただきありがとうございます。以下のように頂いたソースをインデントエラーが出るため編集し実行しましたが、やはり以下のエラーが発生しますね。難しいです(^_^;)

[scrapy.core.scraper] ERROR: Spider must return Request, BaseItem, dict or None, got 'Selector' in 〜
----------------------------

table_rows = response.xpath('//table/tbody/tr')

for table_row in table_rows:
nodes = table_row.xpath('td/img')

for node in nodes:
items = node.xpath('@src') ＜エラーが出るのでインデントしました＞

for item in items:
yield item

[seastar3]

５行目のコード間違えて申し訳ありません。訂正します。