curlからのxpathで、xpath set is emptyと出てスクレイピングができない

Question

https://qiita.com/search?q=python&sort=created
上記のリンクから、タイトルリンクだけ抽出したいと思っています。

その場合この方法で行いましたが、うまくいきません（xpath set is emptyと出てしまう）

curl -s -L https://qiita.com/search?q=python&sort=created | xmllint --html --xpath "//a/@href" -

下記例ではうまく行えるのですが、なぜなのでしょうか？

curl -s -L http://j.mp/1YC5mSM | xmllint --html --xpath "//h3/a/@href" -

※うまくいってる例でも、parser errorが大量に出るのが気になりますが・・・

Answer 1

curl -s -L https://qiita.com/search?q=python&sort=created > file.txt

のようにファイルに保存してみて、正しいHTML を取得できていますか？

おそらく、コマンドラインに & があるので、そこで URL が終了したことになっているのではないかと思われます。

URL をダブルクォーテーションで囲ったらどうなりますか？

Comments

[Kommm]

ありがとうございます！無事解決出来ました！
本当に助かりました！