kaggleAPIを使ったデータセットのダウンロードについて

Question

いつもお世話になっております。
標記について質問させてください。

Google Colabを使って、本記事のデータをダウンロードしたいと思っています。

#kaggleAPIのアップロード
from google.colab import files
files.upload()

!mkdir -p ~/.kaggle
!mv kaggle.json ~/.kaggle/


from google.colab import drive
drive.mount('/root/drive')

!chmod 600 /root/.kaggle/kaggle.json

!kaggle competitions download -c dogs-vs-cats

上記コードを実行したところ、下記ようなメッセージがでました。

Warning: Looks like you're using an outdated API Version, please consider updating (server 1.5.6 / client 1.5.4)
403 - Forbidden

調べてみたところ、403エラーが発生するのは、Kaggleのコンペにジョインしていないためという記事がありますが、
本コンペはすでに終わっているものであり、ジョインするためのボタンがありません。

どのようにすれば、Google Colabからデータセットをダウンロードすることができるでしょうか。

ご存知の方がいましたら、教えていただけると幸いです。

どうぞよろしくお願い致します。

Answer 1

from google.colab import drive
drive.mount('/root/drive')
import os
!mkdir -p Colab
os.getcwd() 

'/content/Colab'

この状態でGoogle Driveから見ると、Colabディレクトリが見えますので、PC側からファイルをコピーするとアップロードされると思います。

!ls -lsa /root/drive/My\ Drive/Colab/

total 304
304 -rw------- 1 root root 310547 Aug 24 07:03 39766.pdf

Comments

[essa]

わざわざありがとうございます。
ただ、今回は800MBと非常に大きなファイルになりますので、アップロードに失敗してしまいます。
別の方法を考えようと思います。

Answer 2

403エラーが発生するのは、Kaggleのコンペにジョインしていないため

仰る通り、別のコンペティションにジョインするとDownload出来ました。

!kaggle competitions download -c severstal-steel-defect-detection
Downloading severstal-steel-defect-detection.zip to /content/Colab
100% 1.29G/1.29G [00:12<00:00, 102MB/s]
100% 1.29G/1.29G [00:12<00:00, 115MB/s]

ご希望のコンペティションは終了しているため、「Download All」ボタンから一旦ローカルに落として、アップロードするしかないのではにでしょうか？

kaggleの操作は以下のQiitaの記事を参考にしました。
【Pythonメモ】Google ColaboratoryでKaggle APIを使うおまじないコード&作法

Comments

[essa]

ご回答ありがとうございます。
当該ファイルは800MB程度あり、ダウンロードは問題ないのですが、アップロードに時間がかかり、エラーが起きることが多々あったので、できたらkaggleから直接ダウンロードするようにしたかったのです。。。
色々と対応してくださり、ありがとうございます。

Answer 3

質問の意図をくみ取れていないかも知れませんが、以下のページの「Download All」ボタンを押下してダウンロードするのでは無いでしょうか？

Dogs vs. Cats

提示のコードを実行すると反対にアップロードすると思うのですが。。。

!pip install -U kaggle

でメッセージが変わりました。

Saving kaggle.json to kaggle.json
Drive already mounted at /root/drive; to attempt to forcibly remount, call drive.mount("/root/drive", force_remount=True).
403 - Forbidden

Comments

[essa]

Google Colab上で処理させたいため、Google Colabを使ってダウンロードしたいです。
そのためにkaggleAPIを使ってダウンロードします

>提示のコードを実行すると反対にアップロードすると思うのですが。。。
アップロードするのはkaggleAPIだけです。
`!kaggle competitions download -c dogs-vs-cats`の部分でダウンロードします。

[essa]

コメントありがとうございます。
メッセージは変わったようですが、やはり403エラーでダウンロードはできない状況ですね。。。