HTML解析

Question

python3系，BeautifulSoup4でHTMLの解析を行っています．
対象テキストにどのようなマルチメディア(画像，動画，音楽)が存在するかを確認したいと考えています．
そこでテキスト内のメディアの拡張子を取得したいのですが，
どうのようにしたらよいのかわからず困っています．

どの拡張子が使われているかは未知なので，メディアを埋め込むタグを取得し，
そこから・・・という流れかなとは考えているのですが，
メディアを埋め込むタグも特定されていない状態ですので，よい方法が思いつきません．

どなたか教えていただけませんか．

以下のようにimgやsrcを指定することでメディアまで到達できますが，
上記でも書いたようにタグや属性は多くの種類があると思うのでそれをなんとか収集したいのです．

>>> tag=soup.find('img')
>>> tag
<img alt="" border="0" height="19" src="j/img/copyright.gif" width="258">
</img>


>>> tag['src']
'j/img/copyright.gif'

Answer 1

ページ内に表示されているメディアファイルは、当該ページのHTML内に記述されているものだけでなく、JavascriptやCSSで表示されているものもあるため、pythonとbeatifulsoupのみでウェブページ内で利用されているメディアの種類を厳密に列挙するのは難しいと思われます。

厳密でなくて良いならば、例に挙げられているように"img", "embed", "video", "iframe", "bgsound"等のタグをパースする。もしくは、".png", ".jpg", ".mp4", ".ogg"等の拡張子を探す、のどちらかのアプローチになるかと思われます。

厳密にやりたいならば、seleniumやPhantom JS等のJavascriptも解釈できるツールを利用して、ページでロードされたファイルの一覧からメディアファイルを探すのが良いのではないでしょうか。