python-文字列中のURLを正規表現で抜き出したい

Question

例えば，文字列"https://www.hoge.com/hogehogemogemoge"の中からhttps://www.hoge.com/hogehogeを抜き出す方法はあるでしょうか？
ここで，mogemogeはURLの1部ではありません．

以下のような正規表現で抜き出すと

pattern = "https?://[\w/:%#$&?()~.=+\-]+"
````https://www.hoge.com/hogehogemogemoge`が抜き出されるはずです．
このように抜き出されたくないものまで抜き出されます．
どうしたら良いでしょうか？

Comments

[y_waiwai]

> https://www.hoge.com/hogehogemogemoge
でもURLとしてきちんと成立してますが、どういう条件で切り出したいということでしょうか

[Daregada]

「ここで，mogemogeはURLの1部ではありません．」
ということをどうやって知ったのかを、質問文に追加して書いてください。

[merlmer]

>>「ここで，mogemogeはURLの1部ではありません．」
>>ということをどうやって知ったのかを、質問文に追加して書いてください。
人手でURLでは無いと判定したものです．
これを人手を利用せずに判定したいということです．

[y_waiwai]

人手でURLではないと判定したなら、判定した根拠があるかと思います。
その根拠をはっきりませましょう。

まさか、なんとなく、ではないでしょう

[merlmer]

リンク先にhttps://www.hoge.com/hogehogeというファイルは存在して，https://www.hoge.com/hogehogemogemogeは存在しないということです．
それを人手で確認をしたということです．
別の例を言うと
https://www.google.com(私がgoogleにアクセスしたときのURL)
文字列"https://www.google.coma"からhttps://www.google.comを抜き出したいということです．

[dodox86]

> リンク先にhttps://www.hoge.com/hogehogeというファイルは存在して，

こういうものはファイルとは限らないです。サーバーが認識する有効なURLを判定したいのであれば、HTTPレスポンスのステータスコード 404 Not found とかを見れば良いのではないですか？

Answer 1

リンク先にhttps://www.hoge.com/hogehogeというファイルは存在して，https://www.hoge.com/hogehogemogemogeは存在しないということです．

それを人手で確認をしたということです．

ということなら、それを正規表現だけで判別するというのは不可能です

Comments

[merlmer]

やはりそうですよね…
正規表現のみではなく別の方法でrequestしてレスポンスを見るとかになるのでしょうかね？
必ずしもURLを抜き出しを達成したいわけではありませんが，今後のため知恵があればお借りしたいです．

[y_waiwai]

あなたが人手で実行したという方法をコードでさせるだけの話です