scrapyによる要素の取得方法 Yahooニュース記事タイトル

Question

scrapyで要素の取得を行ないたいのですが上手くいきません。
初心者なので初期のミスの可能性もあります。

【やりたい事】
Scrapyでヤフーのトップページの記事タイトルの
取得方法をご教示おねがいします。

【試した事】
Scrapy Shellを利用して以下の文で試しましたが取得出来ません。
response.css('ul.emphasis a::text').extract()

お願いします。

Answer 1

User-Agentによって、通常と異なるコンテンツが返ってきているように思います。
(scrapy-project)/settings.py

#USER_AGENT = 'yahoo_spider (+http://www.yourdomain.com)'

ここを書き換えて試して見てください。
参考：ScrapyでのUser-Agentの変更