常連

rails6.1 / aws sdk v3

S3バケット内にあるファイルを
同一バケットの別フォルダにコピーを試みるとエラーが出ます。

```ここに言語を入力

Aws::S3::Errors::NoSuchKey in UsersController#update
The specified key does not exist.

```

以下が該当のコードです。
```ruby

def s3_copy_image
      if self.avatar_changed?
        # コピー先URLを作成
        target = "#{S3_BUCKET.url}/uploads/user/avatar/#{self.id}/#{File.basename(self.avatar)}"
        
        object = S3_BUCKET.object(self.avatar)
        
        # コピー実行→ここでエラー発生
        object.copy_to(bucket: S3_BUCKET.name, key: target)
        

      end
    end
```

#### 試したこと
Keyはもちろん、それぞれが正しくセットされてるか確認しました。

・target 
コピー先のURLです。
正常にURL作成してました。
https://バケット名.s3.ap-northeast-1.amazonaws.com/uploads/user/avatar/1/finallogowithbg.jpg

・self.avatar
コピー元のURLです。
同じくURLは正常でした。直接叩いたらDLできました。
https://バケット名.s3.ap-northeast-1.amazonaws.com/uploads/temp/1f550ea5-573e-4bec-b718-dfd15e7d2d2c/IMG20210702152727.jpg

・S3_BUCKET.name
バケット名です。
間違いなかったです。



公式も見ましたが、特に原因が分かりませんでした。
[クラス：Aws :: S3 :: Object
](https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Object.html#copy_to-instance_method)



分かる方教えていただけると幸いです。
宜しくお願い致します。


#### キャプチャ追記
key: にURLでなくキーを設定してみたがエラー変わらず。
設定されてる事をキャプチャにして追加。

デバッグすると、URLでなくキーが設定されている
![イメージ説明](42fd503f276d7a7c1924691d3056671f.jpeg)

S3にも、ちゃんとディレクトリは存在している
![イメージ説明](864600a44ad706257eb2635635ed21cf.jpeg)

ファイルコピーを試みると、Keyは存在するのに「NoSuchKey」エラーが出る

### 前提・実現したいこと

LaravelでAWS S3に画像をアップロードする機能を実装しています。
以下のようなエラーが発生しました。
- The bucket does not allow ACLs
- 400 Bad Request

原因がわかる方がいましたら、ぜひ教えていただきたいです。

![イメージ説明](01fef81d44bb4b09e2f5c75538e50894.png)


### 発生している問題・エラーメッセージ

```
Error executing "PutObject" on "https://laravel-vue-app-to-do-sengen-backet.s3.ap-northeast-1.amazonaws.com/image/hbzqDxchRSed2TNRlDXeKe5gIfAmMaWQoDrr9JKu.jpg"; AWS HTTP error: Client error: `PUT https://laravel-vue-app-to-do-sengen-backet.s3.ap-northeast-1.amazonaws.com/image/hbzqDxchRSed2TNRlDXeKe5gIfAmMaWQoDrr9JKu.jpg` resulted in a `400 Bad Request` response: <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessControlListNotSupported</Code><Message>The bucket does not all (truncated...) AccessControlListNotSupported (client): The bucket does not allow ACLs - <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessControlListNotSupported</Code><Message>The bucket does not allow ACLs</Message><RequestId>HYC4E3ZWN7X4JMJ5</RequestId><HostId>TqhxfWxKiliOEGYh5lr/gM27uQXfyS8ZgYc5E11Lp6uig72kw/alhA+xZyFkeqegtSHcYXEEuOg=</HostId></Error>
```

### 該当のソースコード

.env（実際には入力されています）
```
AWS_ACCESS_KEY_ID= csvの認証情報に記載されているAccess key ID
AWS_SECRET_ACCESS_KEY= csvの認証情報に記載されているSecret access key
AWS_DEFAULT_REGION=ap-northeast-1 （リージョンをアジアパシフィック東京で作成したため）
AWS_BUCKET= 作成したバケット名
```

app/Http/Controllers/UserController.php
```PHP
<?php

namespace App\Http\Controllers;

// use App\Http\Requests\UserRequest;
use App\User;
use Illuminate\Http\Request;
use Illuminate\Support\Facades\Hash;
use Illuminate\Support\Facades\Storage;
use Illuminate\Support\Facades\Validator;

class UserController extends Controller
{
    //略

　　　　　　　　//プロフィール編集画面
    public function edit(string $name)
    {
        $user = User::where('name', $name)->first();

        return view('users.edit', ['user' => $user]);
    }

    //プロフィール編集処理
    public function update(Request $request, string $name)
    {

        $user = User::where('name', $name)->first();
        $allRequest = $request->all();

        // $profileImage = $request->file('image');
        // dd($profileImage);
        // if ($profileImage) {
        //     $allRequest['image'] = $this->saveProfileImage($profileImage, $user->id);
        // }

        //s3アップロード開始
        $image = $request->file('image');
        // バケットの`myprefix`フォルダへアップロード
        $path = Storage::disk('s3')->putFile('image', $image, 'public');
        // アップロードした画像のフルパスを取得
        $user->image = Storage::disk('s3')->url($path);

        $user->fill($allRequest)->save();
        return redirect()->route('users.show', ["name" => $user->name]);
    }

    //略
}

```

database/migrations/2014_10_12_000000_create_users_table.php
```PHP
public function up()
{
    Schema::create('users', function (Blueprint $table) {
        $table->bigIncrements('id');
        $table->string('name')->unique();
        $table->string('email')->unique();
        $table->timestamp('email_verified_at')->nullable();
        $table->string('twitter_id')->nullable();
        $table->string('password')->nullable();
        $table->string('image')->nullable();
        $table->rememberToken();
        $table->timestamps();
    });
}
```

resources/views/users/edit.blade.php
```PHP
<form action="{{ route('users.update', ['name' => $user->name]) }}" method="POST" enctype="multipart/form-data">
    @method('PATCH')
    @csrf
    {{-- 編集フォーム --}}
    <label for="image">
        <img src="{{ asset('storage/'.$user->image) }}" id="img" class="img-fuild rounded-circle" width="80" height="80">
        <input type="file" id="image" name="image" onchange="previewImage(this);" class="d-none">
    </label>
    <div class="md-form col-lg-6 col-md-7 col-sm-8 col-xs-10 mx-auto">
        <label for="name">ユーザー名</label>
        <input type="text" class="form-control" id="name" name="name" required value="{{ $user->name }}">
        <small>3〜15文字で入力してください</small>
    </div>
    <div class="md-form col-lg-6 col-md-7 col-sm-8 col-xs-10 mx-auto">
        <label for="email">メールアドレス</label>
        <input type="text" class="form-control" id="email" name="email" required value="{{ $user->email }}">
    </div>
    <button type="submit" class="btn btn-block cyan darken-3 text-white col-lg-8 col-md-9 col-sm-10 col-xs-12 mx-auto mt-5 mb-5 waves-effect">
        更新する
    </button>
</form>
```

S3 バケットポリシー
```
{
    "Version": "2012-10-17",
    "Id": "Policy1640118455749",
    "Statement": [
        {
            "Sid": "Stmt1640118449406",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::580365198874:user/laravel-vue-app-to-do-sengen"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:GetObjectAcl",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:ReplicateObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::laravel-vue-app-to-do-sengen-backet",
                "arn:aws:s3:::laravel-vue-app-to-do-sengen-backet/*"
            ]
        }
    ]
}
```

routes/web.php
```PHP
//ユーザーページ表示
Route::prefix('users')->name('users.')->group(function () {
    Route::get('/{name}', 'UserController@show')->name('show');
    //プロフィール編集画面
    Route::get('/{name}/edit', 'UserController@edit')->name('edit');
    //プロフィール編集処理
    Route::patch('/{name}/update', 'UserController@update')->name('update');
    Route::get('/{name}/likes', 'UserController@likes')->name('likes');
    Route::get('/{name}/followings', 'UserController@followings')->name('followings');
    Route::get('/{name}/followers', 'UserController@followers')->name('followers');
    Route::middleware('auth')->group(function () {
        Route::put('/{name}/follow', 'UserController@follow')->name('follow');
        Route::delete('/{name}/follow', 'UserController@unfollow')->name('unfollow');
    });
});
```

app/User.php
```PHP
    protected $fillable = [
        'name', 'email', 'password', 'twitter_id', 'image',
    ];

```

### 試したこと

- 環境変数の見直し
- バケットポリシーの見直し


### 補足情報（FW/ツールのバージョンなど）
Laravel 6.2
PHP 7.4.25
composer 2.1.12
node 16.13

【Laravel】【AWS S3】LaravelでAWS S3に画像をアップロードできない（`400 Bad Request` ）

aws_access_key_id　と　aws_secret_access_key　を使い、
AWS-CLIでログインしました。

```
$ aws configure
AWS Access Key ID [None]: {アクセスキー(各自)}
AWS Secret Access Key [None]: {シークレットアクセスキー(各自)}
Default region name [None]: ap-northeast-1
Default output format [None]: text

```
このあと、

```ここに言語を入力
$ aws s3 ls

An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied
```
でエラー。

この場合、どのような不具合が考えられるのでしょうか？

なお、aws s3 コマンド実行時にはバケットアドレスは指定していません。
（バケットアドレスの指定は必須でしょうか？）

※ちなみに、わざと「Access Key ID」や「AWS Secret Access Key」を間違えて
$ aws configureして、 $ aws s3 lsすると、** InvalidAccessKeyId**　や　**SignatureDoesNotMatch**　のエラーが出ます。

大変お手数をおかけいたしますが、ご教示のほど宜しくお願いいたします。

AWS S3へのログインに失敗します

terraform initをした際に以下のようなエラーが出力されます。
```ここに言語を入力
Initializing the backend...

Error: error configuring S3 Backend: no valid credential sources for S3 Backend found.

Please see https://www.terraform.io/docs/backends/types/s3.html
for more information about providing credentials.

Error: NoCredentialProviders: no valid providers in chain. Deprecated.
	For verbose messaging see aws.Config.CredentialsChainVerboseErrors

```

作業ディレクトリにbackend.tfを配置しており、中身は以下のようになっています。
```ここに言語を入力
terraform {
  backend "s3" {
    bucket = "バケット名"
    key    = "terraform.tfstate"
    region = "ap-northeast-1"
  }
}

provider "aws" {
    region = "ap-northeast-1"
}
```

また、以下についても確認済みです。
- AWS CLIはインストール済み
- 〜/.aws/credentialsにてアクセスキーとシークレットアクセスキーは設定済み
- 上記のIAMユーザはAdministratorAccessを付与済み

エラー解消方法をご教授いただけないでしょうか。

terraform init に失敗する

### 前提

Laravelで画像を投稿できるSNSを作成しています
s3に画像を保存することは出来たのですが、**s3のオブジェクトURLにアクセスすると**以下のようなエラーが出てしまいます。

### 実現したいこと```
エラーメッセージ
```
This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error>
<Code>AccessDenied</Code>
<Message>Access Denied</Message>
<RequestId>9XGJYD3JYABJJGQE</RequestId>
<HostId>MqMLxVj+pfjhQl9Rx3UcKNZi7TUsn9Hhi75sWFpd7uu7trtHAFCMLt/bqnkNdOvV02PSQQ039ac=</HostId>
</Error>
```
コード
- index.blade.phpのimgタグのsrc属性にs3のオブジェクトURLを挿入して表示させたい
```index.blade.php
<img src="{{ Storage::disk('s3')->url('dir/'.$review->imgpath)}}">
```


### 試したこと

S3設定の問題かと思い**ブロックパブリックアクセス (バケット設定)**の項目は全てOFFにしてみましたが同じエラーページに飛ばされます。

コントローラで保存する段階で**引数にpublicを指定することで、URLによるアクセスが可能になる**というのを見かけたので実践してみましたがs3に画像が保存できなくなってしまいます。
```PHP
if ($request['imgpath']) {
        
            //現在時刻を取得
            $now = date_format(Carbon::now(), 'YmdHis');
            $file = $request->file('imgpath');
            //オリジナルネームを取得
            $name = $file->getClientOriginalName();
            
            //ファイル名を現在時刻＋オリジナルネームに変更
            $tmpFile = $now . '_' . $name;
            $tmpPath = $tmpFile;
            
            //アスペクト比を維持して、画像サイズを横幅1080px、縦幅720pxにして一時保存する。
            $image = InterventionImage::make($file)
            ->fit(1080, 720, function ($constraint) {
                $constraint->aspectRatio();
            })->save(storage_path('app/public/' .$tmpPath ) );

            // s3に画像ファイルとして保存
            $s3 = Storage::disk('s3')->putFileAs('dir',new File(storage_path('app/public/' .$tmpPath )),$tmpPath, 'public');
            // $result = Storage::disk('s3')->url($s3);
            // ddd($result);

            // 一時ファイルを削除
            $delete = Storage::disk('public')->delete($tmpPath);
        }
```


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


laravelでs3に保存されている画像を表示したい

### 前提・実現したいこと
初めて質問させていただきます。

AWSのlambdaを使ってs3にcsvファイルを保存したいです
この後どうしてもpythonを用いるためpythonで実装したいです

プログラミング初心者なので根本的に間違っているところがあったら申し訳ないのですが、どうぞよろしくお願いします。

### 発生している問題・エラーメッセージ
文字列をcsv形式で保存することはうまくいくのですが、intやリストにするとうまくいきません

```
エラーメッセージ
"errorMessage": "Parameter validation failed:\nInvalid type for parameter Body, value: 123, type: <class 'int'>, valid types: <class 'bytes'>, <class 'bytearray'>, file-like object",
```

### 該当のソースコード
python 3.7


```
import boto3
 
BUCKET_NAME = 'bucketname'
FILENAME = "test.csv"

def lambda_handler(event, context):
     
    s3 = boto3.resource('s3')
     
    bucket = s3.Bucket(BUCKET_NAME)
     
    FILE_CONTENTS = 123
     
    ret = bucket.put_object( \
        ACL='private', \
        Body=FILE_CONTENTS, \
        Key=FILENAME, \
        ContentType='text/plain' \
    )
     
    return ret
```

### 試したこと
他のコードも調べて試してみましたが、intやリストにするとやはりうまく行きません
文字列にする、例えば
FILE_CONTENTS = u"test"
などにするとうまくいくのですが、なぜintやリストではダメなのかわかりません

### 補足情報（FW/ツールのバージョンなど）

lambdaを使ってs3にcsvファイルを保存したい

Amazon Workspacesの環境についてです。

現在、VPC内にRDS,Amazon OpenSearch Serviceを作成しており、
これらにアクセスする為の環境として同VPC内にworkspacesを作成しています。
但し、privateな環境で外部との通信は行っていない環境です。

そこで質問なのですが、
RDSにアクセスするためのDBクライアントの導入を行いたいのですが、
AWS初学者のため良い方法が思いつかず困っており、アドバイス頂きたいです。


考えたこととしてはS3にDBクライアントのインストーラーを格納し、
workspacesから参照&インストールを考えましたが、どうやって外部通信が遮断されている状態で、
VPC外に存在しているS3を参照してよいか分からず…。
その他にもWorkDocs経由でクライアント追加を考えましたが、外部通信が出来てない為利用不可でした。

他にも良い方法があるかもしれませんが、インストーラー等のファイルをやり取りするだけなので、
低コストで運用が出来る方法があればご教授頂きたいです。よろしくお願いします。

privateなAmazon Workspacesの環境からS3へのアクセス方法

### 実現したいこと

AWS　S3上にアップロードされたCSVファイルに対し、Athena上でテーブルを作成したいですが、
エラーに阻まれています。このエラーの解消方法を知りたいです。
以下詳述します。

### 前提
AWSにはrootアカウントでログインしています。
S3バケット上にCSVファイルがアップロードされています。
名前は「test.csv」で、内容は以下の通りです。
```
Name,
John,25
Jane,30
Sam,35
```
次に、テーブル作成を試行した手順を述べます。
データベース「default」にテーブル名「test」として、上記CSVファイルをテーブル化しようと試みました。

Athenaのクエリエディタをブラウザから操作しました。
まず、クエリエディタ内の「テーブルとビュー」項目から「作成」「S3バケットデータ」を選択し、
「S3バケットデータからテーブルを作成」画面の指示に従い、必要事項を入力していきました。
結果得られたクエリは以下の通りです。

```
CREATE EXTERNAL TABLE IF NOT EXISTS `default`.`test` (`Name` string, `Age` int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ('field.delim' = ',')
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://{バケット名}/'
TBLPROPERTIES ('classification' = 'csv');
```
### 発生している問題・エラーメッセージ

上のクエリを実行すると、次のエラーが発生します。
```
line 1:48: mismatched input 'EXTERNAL'. Expecting: 'MATERIALIZED', 'OR', 'ROLE', 'SCHEMA', 'TABLE', 'VIEW'
このクエリは、クエリで修飾されていない限り、「default」データベースに対して実行されました。エラーメッセージを フォーラム  に投稿するか、クエリ ID: b73e12b2-e127-443a-8b2e-d658317e5a18 とともに カスタマーサポート  にお問い合わせください。
```



Amazon S3