スクレイピングを用いたurlリストの構築

Question

プログラミング初心者です。ご教授お願いいたします。
BeutifulSoup、urllibなどを用いてサイト内のRDFのリンクのURLをEXCELファイルなどに出力し、簡単なURLのリスト作りたいと考えています。

ですが、調べてみてもサイト内のPDFをダウンロードする方法しか出てこず、URLを出力する方法がわかっていません。

できるかできないか、また出来るとしたらどのような方法があるかお教えください、、、、、
よろしくお願いします。

Comments

[mather]

RDFで探したらPDFに関する記事が出てきた、というのは検索エンジンが間違いを訂正した結果なのではないでしょうか。"beautifulsoup url" などで検索してみましたか？

[CHERRY]

RDF と書かれているのは、RSS 1.0 で使われている 「Resource Description Framework」のことでしょうか？

Answer 1

手順

1. URL(アドレス)を指定して、コンテンツを取得

requestsモジュールが使えます。
0. 取得したコンテンツに対して、BeutifulSoupを使用してリンクを解析。

1. 解析したリンクの末尾拡張子がpdfならばファイルに出力する。

まずは、検索しながら作ってみてくださいな。