tensorflow APIで jupyter上でエラーs3のオブジェクトがないエラー'Object s3://~ does not exist'

Question

tensorflowのAPIでjupyter上からs3のバケットにアクセスしようとしたのですが、バケットがないとエラーが出ます

Object s3://バケット名/バケット配下のフォルダ名/train_0.tfrecords does not exist

下記のコードでアクセスキーとシークレットキーは間違っていません。

特にリージョンも間違っていないのに、なぜエラーが出るのでしょうか？

ご教授お願いします

AWS_ACCESS_KEY_ID='アクセスキー'
AWS_SECRET_ACCESS_KEY='シークレットキー'
AWS_REGION='ap-northeast-1'
S3_ENDPOINT='s3.ap-northeast-1.amazonaws.com'
S3_USE_HTTPS=1                     
S3_VERIFY_SSL=1 

print(file_io.stat('s3://バケット名/バケット配下のフォルダ名/train_0.tfrecords'))


# エラー
NotFoundError                             Traceback (most recent call last)
<ipython-input-53-5877f486a5d5> in <module>()
      8 S3_USE_HTTPS=1
      9 S3_VERIFY_SSL=1
---> 10 print(file_io.stat('s3://image-ogawa/image-ogawa/train_0.tfrecords'))

~/anaconda3/lib/python3.6/site-packages/tensorflow/python/lib/io/file_io.py in stat(filename)
    551   with errors.raise_exception_on_not_ok_status() as status:
    552     pywrap_tensorflow.Stat(compat.as_bytes(filename), file_statistics, status)
--> 553     return file_statistics

~/anaconda3/lib/python3.6/site-packages/tensorflow/python/framework/errors_impl.py in __exit__(self, type_arg, value_arg, traceback_arg)
    517             None, None,
    518             compat.as_text(c_api.TF_Message(self.status.status)),
--> 519             c_api.TF_GetCode(self.status.status))
    520     # Delete the underlying status object from memory otherwise it stays alive
    521     # as there is a reference to status from this from the traceback due to

NotFoundError: Object s3://バケット名/フォルダ名/train_0.tfrecords does not exist

Answer 1

バケットではなくオブジェクトが見つからないエラーです。

NotFoundError s3://image-ogawa/image-ogawa/train_0.tfrecords

次のコマンドでオブジェクトが確認できますか？

aws s3 ls s3://image-ogawa/image-ogawa/train_0.tfrecords

以下追記

環境変数を設定することで問題なく動きました。

import os
from tensorflow.python.lib.io import file_io
os.environ['AWS_ACCESS_KEY_ID'] = 'アクセスキー'
os.environ['AWS_SECRET_ACCESS_KEY'] = 'シークレットキー'
os.environ['AWS_REGION'] = 'ap-northeast-1'
os.environ['S3_USE_HTTPS'] = '1'
os.environ['S3_VERIFY_SSL'] = '1'
print(file_io.stat('s3://バケット名/バケット配下のフォルダ名/train_0.tfrecords'))

以下結果

<tensorflow.python.pywrap_tensorflow_internal.FileStatistics; proxy of <Swig Object of type 'tensorflow::FileStatistics *' at 0x7fd037e48bd0> >

Comments

[trafalbad]

コマンドを実行したらオブジェクトは確認できたようなのですが、、

$ aws s3 ls s3://image-ogawa/image-ogawa/train_0.tfrecords

>>> 2018-11-05 01:23:25 7074035331 train_0.tfrecords

[trafalbad]

ありがとうございます