URLからDOMを取得する方法

Question

URLを入力すると、そのURLに埋め込まれている動画のタイトルや再生時間を返すプログラムを書きたいです。
そういったことは可能でしょうか？ また、可能だとしたらどのような方法がありますでしょうか。
少し調べてみたところによると、DOMを取得できれば良いようなのですが、URLからDOMを取得するにはどうしたら良いのでしょうか。使用言語はRubyです。
宜しくお願いします。

Comments

[miyabi_pudding]

例えばどういうURLでしょうか？
（URLからDOMというのがよくわからないです）
例示を出していただかないとなんとも言えないかと・・・。
また、DOMというのは、最終的にHTMLとして出力したい、ということでしょうか？

[ryu2142]

pornhubのようなサイトから動画のサムネイルやタイトルを取得し、自分のアプリ内の投稿の内容として使用したいです！

[miyabi_pudding]

自身の所有でない、外部サイトからの情報を取得する際は、
そのサイトの利用規約に違反するような行為はダメです。
その動画サイトの利用規約は確認されましたか？
その動画サイトが、情報を、APIを通して公開していいよ、としているならそのAPIを利用すれば大丈夫ですが。

[miyabi_pudding]

利用規約にありますね。

The Websites are for your personal use and shall not be used for any commercial endeavor except those specifically endorsed or approved by the Websites.
訳：ウェブサイトは個人的な使用のためのものであり、ウェブサイトによって特に承認または承認されたものを除き、いかなる営利目的にも使用してはなりません。

つまり、「個人的な利用に留めて使ってね。」ということであり、アプリのような広範に公開されるような媒体での、そのサイトの許可がない利用、
または、広告をつけるなどの営利目的での利用は、利用規約違反、ってことです。

また、前項では、
The Websites may contain links to third party sites that are not owned or controlled by the Websites or their operator. The Websites have no control over, and assume no responsibility for, the content, privacy policies, or practices of any third party sites. In addition, the Websites will not and cannot censor or edit the content of any third-party site. By using any of the Websites, you expressly relieve us from all liability arising from your use of any third-party sites. Accordingly, we encourage you to be aware when you leave the Websites and to read the terms, conditions, and privacy policies of each other sites that you visit.
訳：ウェブサイトには、ウェブサイトまたはその運営者が所有または管理していない第三者のサイトへのリンクが含まれている場合があります。 Webサイトは、第三者のサイトのコンテンツ、プライバシーポリシー、または慣行を制御および責任を負いません。さらに、ウェブサイトは第三者のサイトのコンテンツを検閲したり編集したりすることはできません。いずれかのウェブサイトを使用することにより、第三者のサイトの使用から生じるすべての責任から明示的に当社を解放するものとします。したがって、ウェブサイトを離れるときは注意し、アクセスする他の各サイトの利用規約、プライバシーポリシーを読むことをお勧めします。

とあり、つまり、「そのサイト以外のところから動画とか引っ張ってきてるのも中にはあるので、
その場合は、その引っ張り元の方の利用規約とか確認してね。」ということです。

[ryu2142]

なるほど、、
よく分かりました！ありがとう御座います。

[m.ts10806]

pornhub自体、よくは知らないですけど
そもそも正規に動画がアップロードされるようなサイトとは思えないので（普通はちゃんと購入するものでは？）
この手のサイトを二次利用しようとしたら「違法と分かっていて利用した」となりませんかね。
まあどうなろうと我々は他人なので知ったこっちゃないけど、それに手を貸そうと思う人がいるかどうか、です。よく考えてください。

Answer 1

URLから得られるのはDOMではなく単なる文字列です
普通はURLにDOM情報は乗せることはありませんが
そういう運用をあえてしているなら、情報を得ることは不可能ではありません

Answer 2

miyabi_takatsuk様のコメントをもって解決と致します。

自身の所有でない、外部サイトからの情報を取得する際は、
そのサイトの利用規約に違反するような行為はダメです。
その動画サイトの利用規約は確認されましたか？
その動画サイトが、情報を、APIを通して公開していいよ、としているならそのAPIを利用すれば大丈夫ですが。

Comments

[kyoya0819]

引用符を用いないと、他人の文章の引用を明確に示すことができません。
こちら、引用の基礎知識です。

[m.ts10806]

自身の発言でないのでしたらマークダウンの「引用文」を使ってください。
https://teratail.com/help#about-markdown

というか、Qに対してAが成り立ってないように思います。
スクレイピングの類は常にグレーなので、きちんと「確認した結果の事実」を以て解決としてください。
このコメントだけでは第三者の解釈しか書かれてません。