質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

1回答

1504閲覧

Webスクレイピングとクローリング時に開きたくないファイル(pdf,m4p4など)を選ばない方法

goki_gottan

総合スコア168

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

1クリップ

投稿2019/03/31 22:41

HTMLSession で取得したリンク集をさらにクローリングするプログラムを書いているのですが、
pdfファイルやMP4ファイルもリンクとして取得するそうで、回帰文でクローリングしているため、
そのファイルもクローリング対象に含まれてしまい、当然、開くことができず、エラーと返されます。

そこで、pdfやMP4などのファイルを開かない(HTMLSessionで開けない)リンクを選ばない、スクレイピングしない方法(HTMLSessionでそれらを取得しない方法)、または、開けない拡張子付きのファイルがあれば回帰時に無視するようにしたく思っております。これまで後者の方で試していたのですが、たとえば、pdfの場合は、無視するというif文を書いたのですが、pdfやMP4以外にも色々な開けないファイルがあると思い、困っております。

取り急ぎ、ダウンロードファイル(pdf等)すべてを対象にするプログラム構文ってあるのでしょうか。
また、できましたら前者のHTMLSessionでスクレイピング時から開けないファイルは取得できないようにできない方法も併せてご教示いただきたいです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2019/03/31 23:19

処理イメージ的にループが発生しているんだからできるだろ。 (コード等提示されてないので直接的な回答はしません)
_Victorique__

2019/04/01 00:24

開きたいファイルの方を指定すれば良いのでは?
t_obara

2019/04/01 02:34

HTMLSession とは、https://html.python-requests.org/ こちらを利用されているということでしょうか?もしそうであれば、こちらのドキュメントをまずはよくご覧になり、貴殿が期待している動作が実現できないか当たりをつけて、できそうなものを試してみることがよろしいかと思います。
guest

回答1

0

ベストアンサー

簡単なのは

許可したい拡張子だけダウンロードするように指定する(拡張子無しも含ませる)

でしょうか。

投稿2019/04/01 00:34

tanat

総合スコア18709

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

goki_gottan

2019/04/01 05:52

拡張子になしと、htmlですか。 なるほど、逆の発想ですね ありがとうございます。 ちなみに、拡張子なしはどうやって選択するのでしょうか。
tanat

2019/04/02 06:10

現状で > たとえば、pdfの場合は、無視するというif文を書いたのですが、 という実装をされているとのことなので、拡張子を取得して判定しているのだと思います。 拡張子を取得するメソッドなり関数なりに拡張子を持たないURLを渡したときに何を返すか確認して、その返される値を指定することになりますね。
goki_gottan

2019/04/02 11:52

ありがとうございます。なんとかできました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問