デベロッパーツールを使ったのにIndexError: list index out of rangeとなる理由

Airbnbの物件一覧ページの下部のページのリンクが並んだ箇所の一番右のリンクを取得するようにしたいのですが、IndexError: list index out of range　とエラーになります。
Chromeのデベロッパーツールでcopy xpathをしたのですが、エラーになる理由が分かりません。

※ページごとにリンクが並んだ箇所の一番右のリンクのxpathが変わる場合、ページのリンクを取得するためのコードも複数書かないといけないのでしょうか？

Python3.6
1url = 'https://www.airbnb.jp/s/%E5%A4%A7%E9%98%AA%E5%BA%9C%E3%81%AA%E3%82%93%E3%81%B0%E9%A7%85/homes?refinement_paths%5B%5D=%2Fhomes&place_id=ChIJFXXzNhPnAGARUifDEqMzXl4&query=%E5%A4%A7%E9%98%AA%E5%BA%9C%E3%81%AA%E3%82%93%E3%81%B0%E9%A7%85&allow_override%5B%5D=&s_tag=I8UBDrzS&section_offset=1'
2
3res = requests.get(url) 
4dom = lxml.html.fromstring(res.text)
5
6# IndexError: list index out of range
7page_link = dom.xpath('//*[@id="site-content"]/div/div[4]/div/div/div[1]/nav/span/div/ul/li[7]/a')[0].get('href')
8

行動規範の内容に同意します

回答1件

ベストアンサー

次の結果resが空のリストになっているせいで、res[0]というインデックスアクセスが失敗してるためです。

Python
1res = dom.xpath('//*[@id="site-content"]/div/div[4]/div/div/div[1]/nav/span/div/ul/li[7]/a')
2res[0]

投稿2018/05/30 12:16

tachikoma

総合スコア3601

gkz

2018/05/31 04:48

コメントありがとうございます。別サイトでも同様の質問をしていたのですが、そちらでもご回答をいただいたので共有させていただきます。これらを踏まえると、Airbnbのサイトではxpathを使っても空となるため、リンクを取得できないと考えることとしました。（空になることはpdbコマンドで当方でも確認しました。） Githubにどうしてweb操作を自動でおこなうツールを導入しているのか分からなかったのですが、どうやらそういったツールを導入することが当方が直面しているリンクを取得できないという問題を解消するキーファクターとなるようです。 Python3 Although coping xpath via developper tool, IndexError: list index out of range https://stackoverflow.com/questions/50604535/python3-although-coping-xpath-via-developper-tool-indexerror-list-index-out-of?noredirect=1#comment88225614_50604535 >It would look like that some pages don't follow your xpath logic, hence dom.xpath returns an empty list, causing an index error.

行動規範の内容に同意します