scrapy shell, response.xpath().extract()で抽出できない

総合スコア11038

2018/10/25 07:00 編集

ありがとうございます！おっしゃる通り、user agentを指定して実行すると正常に抽出できました！各リンクや "response.body_as_unicode()" も大変参考になりました。最後に、もしよろしければ大変しょーもないことで恐縮なのですが、コード文頭の In [1]: や Out[1] という表示はどういう開発環境で現れるものなのでしょうか？私はMacでTerminal もしくは iTerm2でPython/Scrapyを学び始めたのですが、上記表示は他の技術ブログなどでも散見されていましたので、漠然と疑問に思っていました。ちなみに私の環境では >>> response.xpath......... みたいな文頭の表示です。しょーもなくてすみません。

2018/10/25 07:09

Python環境に ipython が入っているとscrapy shellが自動で使ってくれますね。 https://ipython.org/

2018/10/25 10:38

大変参考になります。ちなみに「コード文頭の In [1]: や Out[1] という表示」という関連質問はいかがでしょうか(^_^;)

2018/10/25 11:18

それはiPythonのプロンプトですよ

2018/10/25 12:33

ipythonをインストールしてipythonコマンドを実行するとiPythonの対話環境になります。

2018/10/25 12:46

そうでしたか。100%理解できました。大変勉強になりました。改めて感謝申し上げます！

行動規範の内容に同意します

XPath の意味は

//*[@id="mhi2nd"]/a/text()
id="mhi2nd" という属性を持つ任意の要素の子 a の値です。

/html/head/title/text() はルートから html の子の head の子の title 要素の値です。

ちなみに Chrome で F12 で開発者ツール開いて、Ctrl+F とすると XPath を入力する欄が出てくるので、それで選択される要素を確認できます。
前者の Xpath でもちゃんとヤフオクが選択されましたよ。

XPath についてはこちらを参考にするとよいかと思います。

追記

XPath 自体はあっていることを示すために上記のことを紹介しました。
以下のコードで取得した HTML を保存したところ、

with open('test.html', 'w') as f:
    f.write(response.body.decode("utf-8"))

Yahoo Japan を見るための環境を満たしていないと判断され、弾かれています。
なので、ブラウザでアクセスしたときの HTML は取得できていないため、上記の XPath が指す要素も存在しませんでした。

<nobr>Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。</nobr><br>
Windows：Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge　Macintosh：Safari 9.0以上<img src="//s.yimg.jp/images/clear.gif" alt="" width="1" height="15"><br>
※Internet Explorer 11.0以上をご利用の場合は、「<a href="https://www.yahoo-help.jp/app/answers/detail/p/533/a_id/43883">Internet Explorerの互換表示について</a>」を参考に、互換表示の無効化をお試しください。<img src="//s.yimg.jp/images/clear.gif" alt="" width="1" height="15"><br><img src="//s.yimg.jp/images/clear.gif" alt="" width="1" height="15">

投稿2018/10/25 05:25

編集2018/10/25 06:15

総合スコア21956

2018/10/25 05:39 編集

ありがとうございます！しかしながら当質問の意図は「ScrapyというPythonフレームワークによるXpathで指定したa要素のテキスト抽出」であり、ご提示いただきました「ChromeデベロッパーツールでのHTML要素の選択方法」とは違う内容と理解していますが、いかがでしょうか。

2018/10/25 06:16

HTML を保存してみてみたところ、Javascript が動かないブラウザと判断されて弾かれていました。

2018/10/25 06:32

tiitoiさん、再度検証いただき、ありがとうございます。上記の説では、/html/head/title が正常に抽出できる点は説明可能なのでしょうか？私もこのあと、他のbody要素でxpathテキスト抽出をやってみますが、取り急ぎ、疑問に思った点をコメいたします。

2018/10/25 06:34

上記のHTMLは一部抜粋です。「Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。」というページが表示されたときでも、<title>Yahoo! JAPAN</title> はHTMLに存在しています。

2018/10/25 07:01

ありがとうございます。ちょっとまだ理解できていないですが、参考にさせていただきますm(_ _)m