url中の「&]が[&amp]になり、リンクを取得できません

Question

開発環境：jupyter lab

下記のurlを変数に代入すると「&」が「&amp」に変わってしまいます。
いくつか方法を試したのですが、上手くいかないので、ご教授いただけますと幸いです。

url = "https://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201"
print(url)
# 結果
#'https://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201'

試したこと➀　url を分割してつなげた

url = "https://race.netkeiba.com/odds/index.html" + "?type=b1&race_id=202105021201"
print(url)
#結果 (変わらず)
#"https://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201"

試したこと➁　&の前にバックスラッシュを付けた

url = "h(ttps://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201"
print(url)
#結果（バックスラッシュが２つになった。ampの文字は消えなかった
#'https://race.netkeiba.com/odds/index.html?type=b1\&race_id=202105021201'

試したこと➂ replace関数を使用して&ampを&に変換

x = "https://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201"
print(x.replace("&amp","&"))
#結果（;が２つになった）
#'https://race.netkeiba.com/odds/index.html?type=b1&;race_id=202105021201'

Comments

[退会済みユーザー]

x.replace("&amp","&") ⇒ x.replace("&","&") にすればいいのでは？

もしくは、どこにどのように代入しているか不明ですが、可能であれば html エンコードされないようにできませんか？

(& が html エンコードされると & になります)

[quickquip]

「結果」と書いてあるものが、何をしてどうやって確認したものなのか? を想像するのが困難でした。

[itagagaki]

>>> url = "https://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201"
>>> print(url)
https://race.netkeiba.com/odds/index.html?type=b1&race_id=202105021201

当然ですが&は&のままです。
いつ、どうやって、urlの値を確かめましたか？
それまでの間にurlに何か操作はされていませんか？

[otn]

確認方法が間違っています。

[hiroshi77]

皆様、ご回答ありがとうございます。確認方法を変えて、画像を添付いたしました。結果は変わらない状況です。

[退会済みユーザー]

print メソッドというのが何だか分かりませんが、追加で貼った画像を見る限り、引数の文字列内の & を & に html エンコードしているとしか思えないのですが。質問者さんの環境の特別仕様とか？

[quickquip]

簡単には再現しそうにない、極めて環境に依存した問題に感じます。
OS,、Pythonのバージョン、可能ならインストールされている関連パッケージの全バージョン、使っているブラウザがなにか、あたりの情報が必要ではないかと思います。（それらを揃えてテストしても再現するかどうか? という微妙なラインかも）

まずは、別のブラウザで試す、アドオンなどがない素に近いブラウザで試す、あたりもチャレンジしてはどうでしょうか。
ローカルで jupyter lab を動かしているのでなければ、別のマシンから接続を試すなどもありかと。

Answer 1

Jupyterが文字列を表示するときに勝手に「これはURLだ」と判断してクリック可能なリンクを作成して表示することが原因のようですね。文字列urlの中の&は当然ながら&のままなので、Jupyterの表示を信じないことですね。私はJupyterを使っていないのでわかりませんが、print('x'+url)したらリンクへの変換は起こらないのではないかと思います。

Comments

[hiroshi77]

itagagakiさんの言われる通り、httpまたはhttpsでなくすることで、amp文字は消えました。
ただ、取得したいのはurlの状態なので、どうしたものかというところです。ちなみに、jupyter labではなく、jupyter notebookではampは表示されませんでした。
jupyter labとjupyter notebookにより違いが出るとは意外でした。

[itagagaki]

まだ飲み込めていないようですが、変数 url の文字列の内容は、あくまでも & は & です。
それを Jupyter が表示するときに「クリックできるリンクに変換して表示」しているだけです。
Jupyter が & とコンソールに表示してはいるけれども、変数 url の実際の中身は、あくまでも & は & のままです。つまり Jupyter は変数 url の内容をそのまま正しく表示しているのではなく、言ってしまえばウソを表示しているわけです。print('x'+url) を試してもらったのは、Jupyterがウソを表示するのをやめさせるためです。x に続いて、変数 url の本当の内容がそのまま表示されると思います。解決策として変数 url 自体に 'x' を付け足せということではありません。

[itagagaki]

私はJupyterを使ったことが無いのでわかりませんが、jupyter labとjupyter notebookとで違うということは、もしかして「値を表示する際に、URL文字列ならクリック可能なリンクに変換して表示する」といったようなオプション設定があるのかもしれませんね。

[hiroshi77]

ありがとうございます。
内容理解いたしました。ただ&に変わると正しいリンクではなく、逆にクリックすると該当ページに飛ばないので、何のための変換なのだろうと疑問を持ってしまいます。まずは設定ができる箇所がないか確認してみます。どうもありがとうございました。