常連

S3バケットにファイルを置いてアクセスしたのですが
下記のエラーが表示されてしまいました。
しかし、数時間たった後にアクセスすると、正しく表示がされていました。
何が原因だったのでしょうか。

CloudFrontなどは使用していません。

> This XML file does not appear to have any style information associated with it. The document tree is shown below.
> <Error>
> <Code>AccessDenied</Code>
> <Message>Access Denied</Message>
> <RequestId>xxxxxxxxxxxxxxx</RequestId>
> <HostId>xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx</HostId>
> </Error>

S3バケットのアクセスエラー(This XML file does not appear to have any style information associated with it.)

rails6.1 / aws sdk v3

S3バケット内にあるファイルを
同一バケットの別フォルダにコピーを試みるとエラーが出ます。

```ここに言語を入力

Aws::S3::Errors::NoSuchKey in UsersController#update
The specified key does not exist.

```

以下が該当のコードです。
```ruby

def s3_copy_image
      if self.avatar_changed?
        # コピー先URLを作成
        target = "#{S3_BUCKET.url}/uploads/user/avatar/#{self.id}/#{File.basename(self.avatar)}"
        
        object = S3_BUCKET.object(self.avatar)
        
        # コピー実行→ここでエラー発生
        object.copy_to(bucket: S3_BUCKET.name, key: target)
        

      end
    end
```

#### 試したこと
Keyはもちろん、それぞれが正しくセットされてるか確認しました。

・target 
コピー先のURLです。
正常にURL作成してました。
https://バケット名.s3.ap-northeast-1.amazonaws.com/uploads/user/avatar/1/finallogowithbg.jpg

・self.avatar
コピー元のURLです。
同じくURLは正常でした。直接叩いたらDLできました。
https://バケット名.s3.ap-northeast-1.amazonaws.com/uploads/temp/1f550ea5-573e-4bec-b718-dfd15e7d2d2c/IMG20210702152727.jpg

・S3_BUCKET.name
バケット名です。
間違いなかったです。



公式も見ましたが、特に原因が分かりませんでした。
[クラス：Aws :: S3 :: Object
](https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Object.html#copy_to-instance_method)



分かる方教えていただけると幸いです。
宜しくお願い致します。


#### キャプチャ追記
key: にURLでなくキーを設定してみたがエラー変わらず。
設定されてる事をキャプチャにして追加。

デバッグすると、URLでなくキーが設定されている
![イメージ説明](42fd503f276d7a7c1924691d3056671f.jpeg)

S3にも、ちゃんとディレクトリは存在している
![イメージ説明](864600a44ad706257eb2635635ed21cf.jpeg)

ファイルコピーを試みると、Keyは存在するのに「NoSuchKey」エラーが出る

### 前提・実現したいこと

LaravelでAWS S3に画像をアップロードする機能を実装しています。
以下のようなエラーが発生しました。
- The bucket does not allow ACLs
- 400 Bad Request

原因がわかる方がいましたら、ぜひ教えていただきたいです。

![イメージ説明](01fef81d44bb4b09e2f5c75538e50894.png)


### 発生している問題・エラーメッセージ

```
Error executing "PutObject" on "https://laravel-vue-app-to-do-sengen-backet.s3.ap-northeast-1.amazonaws.com/image/hbzqDxchRSed2TNRlDXeKe5gIfAmMaWQoDrr9JKu.jpg"; AWS HTTP error: Client error: `PUT https://laravel-vue-app-to-do-sengen-backet.s3.ap-northeast-1.amazonaws.com/image/hbzqDxchRSed2TNRlDXeKe5gIfAmMaWQoDrr9JKu.jpg` resulted in a `400 Bad Request` response: <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessControlListNotSupported</Code><Message>The bucket does not all (truncated...) AccessControlListNotSupported (client): The bucket does not allow ACLs - <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessControlListNotSupported</Code><Message>The bucket does not allow ACLs</Message><RequestId>HYC4E3ZWN7X4JMJ5</RequestId><HostId>TqhxfWxKiliOEGYh5lr/gM27uQXfyS8ZgYc5E11Lp6uig72kw/alhA+xZyFkeqegtSHcYXEEuOg=</HostId></Error>
```

### 該当のソースコード

.env（実際には入力されています）
```
AWS_ACCESS_KEY_ID= csvの認証情報に記載されているAccess key ID
AWS_SECRET_ACCESS_KEY= csvの認証情報に記載されているSecret access key
AWS_DEFAULT_REGION=ap-northeast-1 （リージョンをアジアパシフィック東京で作成したため）
AWS_BUCKET= 作成したバケット名
```

app/Http/Controllers/UserController.php
```PHP
<?php

namespace App\Http\Controllers;

// use App\Http\Requests\UserRequest;
use App\User;
use Illuminate\Http\Request;
use Illuminate\Support\Facades\Hash;
use Illuminate\Support\Facades\Storage;
use Illuminate\Support\Facades\Validator;

class UserController extends Controller
{
    //略

　　　　　　　　//プロフィール編集画面
    public function edit(string $name)
    {
        $user = User::where('name', $name)->first();

        return view('users.edit', ['user' => $user]);
    }

    //プロフィール編集処理
    public function update(Request $request, string $name)
    {

        $user = User::where('name', $name)->first();
        $allRequest = $request->all();

        // $profileImage = $request->file('image');
        // dd($profileImage);
        // if ($profileImage) {
        //     $allRequest['image'] = $this->saveProfileImage($profileImage, $user->id);
        // }

        //s3アップロード開始
        $image = $request->file('image');
        // バケットの`myprefix`フォルダへアップロード
        $path = Storage::disk('s3')->putFile('image', $image, 'public');
        // アップロードした画像のフルパスを取得
        $user->image = Storage::disk('s3')->url($path);

        $user->fill($allRequest)->save();
        return redirect()->route('users.show', ["name" => $user->name]);
    }

    //略
}

```

database/migrations/2014_10_12_000000_create_users_table.php
```PHP
public function up()
{
    Schema::create('users', function (Blueprint $table) {
        $table->bigIncrements('id');
        $table->string('name')->unique();
        $table->string('email')->unique();
        $table->timestamp('email_verified_at')->nullable();
        $table->string('twitter_id')->nullable();
        $table->string('password')->nullable();
        $table->string('image')->nullable();
        $table->rememberToken();
        $table->timestamps();
    });
}
```

resources/views/users/edit.blade.php
```PHP
<form action="{{ route('users.update', ['name' => $user->name]) }}" method="POST" enctype="multipart/form-data">
    @method('PATCH')
    @csrf
    {{-- 編集フォーム --}}
    <label for="image">
        <img src="{{ asset('storage/'.$user->image) }}" id="img" class="img-fuild rounded-circle" width="80" height="80">
        <input type="file" id="image" name="image" onchange="previewImage(this);" class="d-none">
    </label>
    <div class="md-form col-lg-6 col-md-7 col-sm-8 col-xs-10 mx-auto">
        <label for="name">ユーザー名</label>
        <input type="text" class="form-control" id="name" name="name" required value="{{ $user->name }}">
        <small>3〜15文字で入力してください</small>
    </div>
    <div class="md-form col-lg-6 col-md-7 col-sm-8 col-xs-10 mx-auto">
        <label for="email">メールアドレス</label>
        <input type="text" class="form-control" id="email" name="email" required value="{{ $user->email }}">
    </div>
    <button type="submit" class="btn btn-block cyan darken-3 text-white col-lg-8 col-md-9 col-sm-10 col-xs-12 mx-auto mt-5 mb-5 waves-effect">
        更新する
    </button>
</form>
```

S3 バケットポリシー
```
{
    "Version": "2012-10-17",
    "Id": "Policy1640118455749",
    "Statement": [
        {
            "Sid": "Stmt1640118449406",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::580365198874:user/laravel-vue-app-to-do-sengen"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:GetObjectAcl",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:ReplicateObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::laravel-vue-app-to-do-sengen-backet",
                "arn:aws:s3:::laravel-vue-app-to-do-sengen-backet/*"
            ]
        }
    ]
}
```

routes/web.php
```PHP
//ユーザーページ表示
Route::prefix('users')->name('users.')->group(function () {
    Route::get('/{name}', 'UserController@show')->name('show');
    //プロフィール編集画面
    Route::get('/{name}/edit', 'UserController@edit')->name('edit');
    //プロフィール編集処理
    Route::patch('/{name}/update', 'UserController@update')->name('update');
    Route::get('/{name}/likes', 'UserController@likes')->name('likes');
    Route::get('/{name}/followings', 'UserController@followings')->name('followings');
    Route::get('/{name}/followers', 'UserController@followers')->name('followers');
    Route::middleware('auth')->group(function () {
        Route::put('/{name}/follow', 'UserController@follow')->name('follow');
        Route::delete('/{name}/follow', 'UserController@unfollow')->name('unfollow');
    });
});
```

app/User.php
```PHP
    protected $fillable = [
        'name', 'email', 'password', 'twitter_id', 'image',
    ];

```

### 試したこと

- 環境変数の見直し
- バケットポリシーの見直し


### 補足情報（FW/ツールのバージョンなど）
Laravel 6.2
PHP 7.4.25
composer 2.1.12
node 16.13

【Laravel】【AWS S3】LaravelでAWS S3に画像をアップロードできない（`400 Bad Request` ）

aws_access_key_id　と　aws_secret_access_key　を使い、
AWS-CLIでログインしました。

```
$ aws configure
AWS Access Key ID [None]: {アクセスキー(各自)}
AWS Secret Access Key [None]: {シークレットアクセスキー(各自)}
Default region name [None]: ap-northeast-1
Default output format [None]: text

```
このあと、

```ここに言語を入力
$ aws s3 ls

An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied
```
でエラー。

この場合、どのような不具合が考えられるのでしょうか？

なお、aws s3 コマンド実行時にはバケットアドレスは指定していません。
（バケットアドレスの指定は必須でしょうか？）

※ちなみに、わざと「Access Key ID」や「AWS Secret Access Key」を間違えて
$ aws configureして、 $ aws s3 lsすると、** InvalidAccessKeyId**　や　**SignatureDoesNotMatch**　のエラーが出ます。

大変お手数をおかけいたしますが、ご教示のほど宜しくお願いいたします。

AWS S3へのログインに失敗します

terraform initをした際に以下のようなエラーが出力されます。
```ここに言語を入力
Initializing the backend...

Error: error configuring S3 Backend: no valid credential sources for S3 Backend found.

Please see https://www.terraform.io/docs/backends/types/s3.html
for more information about providing credentials.

Error: NoCredentialProviders: no valid providers in chain. Deprecated.
	For verbose messaging see aws.Config.CredentialsChainVerboseErrors

```

作業ディレクトリにbackend.tfを配置しており、中身は以下のようになっています。
```ここに言語を入力
terraform {
  backend "s3" {
    bucket = "バケット名"
    key    = "terraform.tfstate"
    region = "ap-northeast-1"
  }
}

provider "aws" {
    region = "ap-northeast-1"
}
```

また、以下についても確認済みです。
- AWS CLIはインストール済み
- 〜/.aws/credentialsにてアクセスキーとシークレットアクセスキーは設定済み
- 上記のIAMユーザはAdministratorAccessを付与済み

エラー解消方法をご教授いただけないでしょうか。

terraform init に失敗する

### 実現したいこと

hoge.sh（bashファイル）でhogehoge.sql(sqlファイル）を実行して
S3からRDS上にファイルを転送し、タスクのtask_idとlifecycleを取得してhoge.sh上で変数に格納したいと考えています。

### 前提

S3上のファイルからRDS上の指定したファイルパスの場所にファイルを転送でき、
実行結果もコマンドライン上に表示されています。
ですが実行結果のtask_idをhoge.sh上で取得する方法がわからず苦戦しております。

task_idを取得する方法を教えていただけないでしょうか。
宜しくお願いいたします。



### 該当のソースコード

```bash
#!/bin/bash

HOSTNAME=ホスト名
USER=ユーザー名
PW=パスワード名
SQLFILE＝./hogehoge.sql

sqlcmd -W -S ${HOSTNAME} -U ${USER} -P ${PW} -i ${SQLFILE}
```


```sql
exec msdb.dbo.rds_download_from_s3
	    @s3_arn_of_file='S3上の転送したいファイルのパス',
	    @rds_file_path='RDSの転送してきたファイルを格納するファイルパス',
	    @overwrite_file=1; 
```

###実行結果
task_id task_type        lifecycle created_at              last_updated            S3_object_arn                                      overwrite_file task_progress task_info filepath
------- ---------------- --------- ----------------------- ----------------------- -------------------------------------------------- -------------- ------------- --------- --------------------------
1       DOWNLOAD_FROM_S3 CREATED   2020-08-08 02:44:31.810 2020-08-08 02:44:31.810 S3上の転送したいファイルのパス 1              0             NULL      RDSの転送してきたファイルを格納するファイルパス

Task created successfully.
Task Id: 1




【Bash】S3からRDS上にファイル転送をシェルスクリプトで行い、その結果をシェルスクリプト内で受け取りたい

### 前提

AWSのLambda、S3、Opensearchの使用を想定しています。

サンプルソースから、以下の動作は確認できた。
Amazon OpenSearch Service へのストリーミングデータをロードする - Amazon OpenSearch Service
https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/integrations.html
　→「Amazon S3 からストリーミングデータをロードする」
１．S3へのcsvアップロードをトリガーとし
２．csvファイルをOpensearchへ転送する

という動作は確認できたのですが、
実際に利用するCSVはlogでなどではなく
以下のような単純なコンマ区切りのファイルになります。
正規表現ではなく、単純なコンマ区切りのcsvを取り込む方法を模索しております。

### 実現したいこと

- [ ] 正規表現取り込みをcsv読み取りへ変更したい。

- [ ] ゴールは、取り込んだcsvデータをOpensearch上でグラフ化(視覚化)を実現したい
※フォーマットについて随時確認中。

csv中身例：
vmanage name, ip, host, session1, session2, sessionmax
vmanage-1, 1.1.1.1, testhost, 10, 9, 20

### 発生している問題・エラーメッセージ

ストリーム方式csv読み込み、配列に加えた後にdocumentへ入れる想定

```
エラーメッセージ：

[ERROR] Runtime.UserCodesSyntaxError : Syntax error in module `sample` : unexpected indent (sample.py, line47)
Trackback (most recent call last):
  File "/var/task/sample.py" Line 47
    for row in csv.reader(textIo):

```

### 該当のソースコード

```Python/Lambda

import boto3
import re
import requests
import csv
import io
import BytesIO
from requests_aws4auth import AWS4Auth

#配列
vmanagename = []
ip = []
hostname = []
session1 = []
session2 = []
sessionmax = []


region = '' # e.g. us-west-1
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

host = '' # the OpenSearch Service domain, e.g. https://search-mydomain.us-west-1.es.amazonaws.com
index = 'lambda-s3-index'
type = '_doc'
url = host + '/' + index + '/' + type

headers = { "Content-Type": "application/json" }

s3 = boto3.client('s3')

# Lambda execution starts here
def handler(event, context):
    for record in event['Records']:

        # Get the bucket name and key for the new file
        bucket = record['s3']['bucket']['name']
        key = record['s3']['object']['key']

        # Get, read, and split the file into lines
        obj = s3.get_object(Bucket=bucket, Key=key)
        body = obj['Body'].read()
        textIo = io.TextIOWrapper(io.BytesIO(body))

        # Match the regular expressions to each line and index the JSON
        for row in lines csv.reader(textIo):
            print(row)
            vmanagename = row[0]
            ip = row[1]
            hostname = row[2]
            session1 = row[3]
            session2 = row[4]
            sessionmax = row[5]

            document = { "vmanagename ": vmanagename , "ip  ": ip , "hostname ": hostname , "session1 ": session1 , "session2": session2, "sessionmax ": sessionmax }
            r = requests.post(url, auth=awsauth, json=document, headers=headers)
```

### 試したこと
・csvのコンマ区切りを読み取り
・csvを辞書型にしたほうが良いか
・その他の方法について検討中

### 補足情報（FW/ツールのバージョンなど）

なし


Lambda(Python)でS3のcsvを読み込んで、Opensearchへ転送したい

### 前提

Laravelで画像を投稿できるSNSを作成しています
s3に画像を保存することは出来たのですが、**s3のオブジェクトURLにアクセスすると**以下のようなエラーが出てしまいます。

### 実現したいこと```
エラーメッセージ
```
This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error>
<Code>AccessDenied</Code>
<Message>Access Denied</Message>
<RequestId>9XGJYD3JYABJJGQE</RequestId>
<HostId>MqMLxVj+pfjhQl9Rx3UcKNZi7TUsn9Hhi75sWFpd7uu7trtHAFCMLt/bqnkNdOvV02PSQQ039ac=</HostId>
</Error>
```
コード
- index.blade.phpのimgタグのsrc属性にs3のオブジェクトURLを挿入して表示させたい
```index.blade.php
<img src="{{ Storage::disk('s3')->url('dir/'.$review->imgpath)}}">
```


### 試したこと

S3設定の問題かと思い**ブロックパブリックアクセス (バケット設定)**の項目は全てOFFにしてみましたが同じエラーページに飛ばされます。

コントローラで保存する段階で**引数にpublicを指定することで、URLによるアクセスが可能になる**というのを見かけたので実践してみましたがs3に画像が保存できなくなってしまいます。
```PHP
if ($request['imgpath']) {
        
            //現在時刻を取得
            $now = date_format(Carbon::now(), 'YmdHis');
            $file = $request->file('imgpath');
            //オリジナルネームを取得
            $name = $file->getClientOriginalName();
            
            //ファイル名を現在時刻＋オリジナルネームに変更
            $tmpFile = $now . '_' . $name;
            $tmpPath = $tmpFile;
            
            //アスペクト比を維持して、画像サイズを横幅1080px、縦幅720pxにして一時保存する。
            $image = InterventionImage::make($file)
            ->fit(1080, 720, function ($constraint) {
                $constraint->aspectRatio();
            })->save(storage_path('app/public/' .$tmpPath ) );

            // s3に画像ファイルとして保存
            $s3 = Storage::disk('s3')->putFileAs('dir',new File(storage_path('app/public/' .$tmpPath )),$tmpPath, 'public');
            // $result = Storage::disk('s3')->url($s3);
            // ddd($result);

            // 一時ファイルを削除
            $delete = Storage::disk('public')->delete($tmpPath);
        }
```


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。
