[python] あるURLからファイルをダウンロードしたいのですが、方法が分からずに困っています

Question

困っていること

いま、自然言語処理を用いたタスクにおいて、embedding層にSciBERTのモデルを活用しようとしております。

その際に、ファイル「scibert_scivocab_cased.tar」を使う必要があり、ダウンロードしないといけないのですが、ダウンロードのために公開されているコードがあるので、このコードを活用しようとｓているのですが、実行しても「ファイルがありません」と表示されるだけで、ダウンロードできずに困っています。

どなたかお分かりになられる方、ダウンロードする方法を教えていただないでしょうか？お手数ですが、よろしくお願い致します。

ダウンロードのために公開されているコード

import os
import subprocess


# Check that we don't have it already.
if os.path.exists("./pretrained/scibert_scivocab_cased.tar"):
    print("SciBERT already downloaded.")
    quit()

# Make directory, download file, unzip.
os.makedirs("./pretrained", exist_ok=True)
scibert_url = ("https://s3-us-west-2.amazonaws.com/ai2-s2-research/scibert/pytorch_models"
               "/scibert_scivocab_cased.tar")
subprocess.run(["wget", scibert_url, "--directory-prefix=./pretrained"])
subprocess.run(["tar", "-xvf", "./pretrained/scibert_scivocab_cased.tar",
                "--directory", "./pretrained"])

上記コードを実行した際のメッセージ（エラー含む）

  File "<ipython-input-3-45a7005073f8>", line 1, in <module>
    runfile('C:/Users/.../Desktop/get_scibert.py', wdir='C:/Users/.../Desktop')

  File "C:\Users...\AppData\Local\Continuum\anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 704, in runfile
    execfile(filename, namespace)

  File "C:\Users...\AppData\Local\Continuum\anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 108, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "C:/Users/.../Desktop/get_scibert.py", line 20, in <module>
    subprocess.run(["wget", scibert_url, "--directory-prefix=./pretrained"])

  File "C:\Users...\AppData\Local\Continuum\anaconda3\lib\subprocess.py", line 466, in run
    with Popen(*popenargs, **kwargs) as process:

  File "C:\Users...\AppData\Local\Continuum\anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 171, in __init__
    super(SubprocessPopen, self).__init__(*args, **kwargs)

  File "C:\Users...\AppData\Local\Continuum\anaconda3\lib\subprocess.py", line 769, in __init__
    restore_signals, start_new_session)

  File "C:\Users...\AppData\Local\Continuum\anaconda3\lib\subprocess.py", line 1172, in _execute_child
    startupinfo)

FileNotFoundError: [WinError 2] 指定されたファイルが見つかりません。

Comments

[8524ba23]

提示コードをそのままWindows10上のWSL(Ubuntu)で実行しましたが、正常にDLできました。
実行環境、subprocessで呼び出しているwgetのバージョンなど記載すると回答得られやすくなるかと思います。

[mini1988]

すいません、ご指摘いただき、ありがとうございます。確認してみます。

Answer 1

おそらく、windows環境をおつかいですね？

このプログラムは、linux系のosにしか対応していません。
subprocess内の"wget"コマンドは、linux専用だからです。

代わりに、urllibライブラリを使いましょう。
osの種類に関係なく、ファイルをダウンロードできます。

このコードをお試しあれ。

import os
import urllib.request


# Check that we don't have it already.
if os.path.exists("./pretrained/scibert_scivocab_cased.tar"):
    print("SciBERT already downloaded.")
    quit()

# Make directory, download file, unzip.
os.makedirs("./pretrained", exist_ok=True)
scibert_url = ("https://s3-us-west-2.amazonaws.com/ai2-s2-research/scibert/pytorch_models"
               "/scibert_scivocab_cased.tar")
               

# Download and write data to file
with urllib.request.urlopen(scibert_url) as response, open("./pretrained/scibert_scivocab_cased.tar", "wb") as out_file:
    print("Downloading data")
    data = response.read()
    print("Writing data to file")
    out_file.write(data)

Comments

[mini1988]

ご提供いただいたコードを実行したところ、無事にダウンロードできました。本当にありがとうございます！