常連

### 前提・実現したいこと

LaravelでAWS S3に画像をアップロードする機能を実装しています。
以下のようなエラーが発生しました。
- The bucket does not allow ACLs
- 400 Bad Request

原因がわかる方がいましたら、ぜひ教えていただきたいです。

![イメージ説明](01fef81d44bb4b09e2f5c75538e50894.png)


### 発生している問題・エラーメッセージ

```
Error executing "PutObject" on "https://laravel-vue-app-to-do-sengen-backet.s3.ap-northeast-1.amazonaws.com/image/hbzqDxchRSed2TNRlDXeKe5gIfAmMaWQoDrr9JKu.jpg"; AWS HTTP error: Client error: `PUT https://laravel-vue-app-to-do-sengen-backet.s3.ap-northeast-1.amazonaws.com/image/hbzqDxchRSed2TNRlDXeKe5gIfAmMaWQoDrr9JKu.jpg` resulted in a `400 Bad Request` response: <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessControlListNotSupported</Code><Message>The bucket does not all (truncated...) AccessControlListNotSupported (client): The bucket does not allow ACLs - <?xml version="1.0" encoding="UTF-8"?> <Error><Code>AccessControlListNotSupported</Code><Message>The bucket does not allow ACLs</Message><RequestId>HYC4E3ZWN7X4JMJ5</RequestId><HostId>TqhxfWxKiliOEGYh5lr/gM27uQXfyS8ZgYc5E11Lp6uig72kw/alhA+xZyFkeqegtSHcYXEEuOg=</HostId></Error>
```

### 該当のソースコード

.env（実際には入力されています）
```
AWS_ACCESS_KEY_ID= csvの認証情報に記載されているAccess key ID
AWS_SECRET_ACCESS_KEY= csvの認証情報に記載されているSecret access key
AWS_DEFAULT_REGION=ap-northeast-1 （リージョンをアジアパシフィック東京で作成したため）
AWS_BUCKET= 作成したバケット名
```

app/Http/Controllers/UserController.php
```PHP
<?php

namespace App\Http\Controllers;

// use App\Http\Requests\UserRequest;
use App\User;
use Illuminate\Http\Request;
use Illuminate\Support\Facades\Hash;
use Illuminate\Support\Facades\Storage;
use Illuminate\Support\Facades\Validator;

class UserController extends Controller
{
    //略

　　　　　　　　//プロフィール編集画面
    public function edit(string $name)
    {
        $user = User::where('name', $name)->first();

        return view('users.edit', ['user' => $user]);
    }

    //プロフィール編集処理
    public function update(Request $request, string $name)
    {

        $user = User::where('name', $name)->first();
        $allRequest = $request->all();

        // $profileImage = $request->file('image');
        // dd($profileImage);
        // if ($profileImage) {
        //     $allRequest['image'] = $this->saveProfileImage($profileImage, $user->id);
        // }

        //s3アップロード開始
        $image = $request->file('image');
        // バケットの`myprefix`フォルダへアップロード
        $path = Storage::disk('s3')->putFile('image', $image, 'public');
        // アップロードした画像のフルパスを取得
        $user->image = Storage::disk('s3')->url($path);

        $user->fill($allRequest)->save();
        return redirect()->route('users.show', ["name" => $user->name]);
    }

    //略
}

```

database/migrations/2014_10_12_000000_create_users_table.php
```PHP
public function up()
{
    Schema::create('users', function (Blueprint $table) {
        $table->bigIncrements('id');
        $table->string('name')->unique();
        $table->string('email')->unique();
        $table->timestamp('email_verified_at')->nullable();
        $table->string('twitter_id')->nullable();
        $table->string('password')->nullable();
        $table->string('image')->nullable();
        $table->rememberToken();
        $table->timestamps();
    });
}
```

resources/views/users/edit.blade.php
```PHP
<form action="{{ route('users.update', ['name' => $user->name]) }}" method="POST" enctype="multipart/form-data">
    @method('PATCH')
    @csrf
    {{-- 編集フォーム --}}
    <label for="image">
        <img src="{{ asset('storage/'.$user->image) }}" id="img" class="img-fuild rounded-circle" width="80" height="80">
        <input type="file" id="image" name="image" onchange="previewImage(this);" class="d-none">
    </label>
    <div class="md-form col-lg-6 col-md-7 col-sm-8 col-xs-10 mx-auto">
        <label for="name">ユーザー名</label>
        <input type="text" class="form-control" id="name" name="name" required value="{{ $user->name }}">
        <small>3〜15文字で入力してください</small>
    </div>
    <div class="md-form col-lg-6 col-md-7 col-sm-8 col-xs-10 mx-auto">
        <label for="email">メールアドレス</label>
        <input type="text" class="form-control" id="email" name="email" required value="{{ $user->email }}">
    </div>
    <button type="submit" class="btn btn-block cyan darken-3 text-white col-lg-8 col-md-9 col-sm-10 col-xs-12 mx-auto mt-5 mb-5 waves-effect">
        更新する
    </button>
</form>
```

S3 バケットポリシー
```
{
    "Version": "2012-10-17",
    "Id": "Policy1640118455749",
    "Statement": [
        {
            "Sid": "Stmt1640118449406",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::580365198874:user/laravel-vue-app-to-do-sengen"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:GetObjectAcl",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:ReplicateObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::laravel-vue-app-to-do-sengen-backet",
                "arn:aws:s3:::laravel-vue-app-to-do-sengen-backet/*"
            ]
        }
    ]
}
```

routes/web.php
```PHP
//ユーザーページ表示
Route::prefix('users')->name('users.')->group(function () {
    Route::get('/{name}', 'UserController@show')->name('show');
    //プロフィール編集画面
    Route::get('/{name}/edit', 'UserController@edit')->name('edit');
    //プロフィール編集処理
    Route::patch('/{name}/update', 'UserController@update')->name('update');
    Route::get('/{name}/likes', 'UserController@likes')->name('likes');
    Route::get('/{name}/followings', 'UserController@followings')->name('followings');
    Route::get('/{name}/followers', 'UserController@followers')->name('followers');
    Route::middleware('auth')->group(function () {
        Route::put('/{name}/follow', 'UserController@follow')->name('follow');
        Route::delete('/{name}/follow', 'UserController@unfollow')->name('unfollow');
    });
});
```

app/User.php
```PHP
    protected $fillable = [
        'name', 'email', 'password', 'twitter_id', 'image',
    ];

```

### 試したこと

- 環境変数の見直し
- バケットポリシーの見直し


### 補足情報（FW/ツールのバージョンなど）
Laravel 6.2
PHP 7.4.25
composer 2.1.12
node 16.13

【Laravel】【AWS S3】LaravelでAWS S3に画像をアップロードできない（`400 Bad Request` ）


### 開発環境
macos11.7.8 BigSur
OpenSSH_8.1p1, LibreSSL 2.7.3

### 試したこと

**・~/.ssh/ディレクトリに鍵を追加**

**・~/.ssh ディレクトリをパーミッション700で更新して、鍵のパーミッションを600に変更**
```ここに言語を入力
$ chmod 600 ~/.ssh/XXXXX.pem
```

** ~/.ssh/config ファイルに以下を追加（パーミッション600でファイル作成）
```ここに言語を入力
Host akihabara_stg
  HostName 00.0.00.00⇦指定されたホスト名
  User sftp-user
  ProxyCommand ssh -CW %h:%p akihabara_stg_tun

 踏み台サーバー
Host akihabara_stg_tun
  HostName 00.0.00.00⇦指定されたホスト名
  User sftp-user
  IdentityFile ~/.ssh/XXXXX.pem

```

上記対応を行なったのちに、
```ここに言語を入力
$ ssh -L 10022:localhost:22 akihabara_stg
```
を実行したところ
```
sftp-user@00.0.00.00: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
```
というエラーが発生しました。

$ ls -la ~/.sshでパーミッションの設定は問題ないことを確認してます。

~/.ssh/known_hostsを退避させ、
~/.ssh/configに

```ここに言語を入力
Host *
  HostkeyAlgorithms +ssh-rsa
  PubkeyAcceptedAlgorithms +ssh-rsa
```

を追加しても接続ができない状況です。



他の作業者が接続できたとのことでSSHのバージョンを確認したところ
OpenSSH_9.0p1, LibreSSL 3.3.6
だったとのことです。

SSHトンネリングを使用し、踏み台サーバーを経由してリモートサーバーへのSSH接続およびSFTP接続を行う際のエラーについて

### 実現したいこと

- [ ] WordPressでアップロードした画像をS3に格納して配信されるようにしたい。

### 前提

会社の個人年間目標にAWSを用いて検証環境を用意すると設定し、現在AWS(VPC、EC2、Route53、RDS、S3)+WordPressの構成でブログが配信できるように勉強しています。
https://www.udemy.com/share/101Yby3@1n2qInl84rgdgzgB3mrRRoZHVVSjJWiRyYKatsaFvTPSR6b2PrW5DEjgpONU0R36oQ==/
上記のUdemy講座を見ながら、AWSを用いたインフラ設計を学んでおり、現在S3に画像が格納されないという状況です。
WordPressのプラグインで、WP Offload Media Lite(WordPressを使用する際にS3に格納を可能にするものらしいです)というものがあり、それを導入後発生している事象。

### 発生している問題・エラーメッセージ

```
投稿画像がS3に格納されない。
```


### 試したこと
1、php xmlのインストール
2、サーバーの再起動
3、WP Offload Media Liteの有効化
4、EC2サーバーにログイン後、wp-config.php内にS3にアクセスするためのアクセスキーの定義
5、Offloaded media URLs may be broken. An error was encountered while testing the domain: Received 403 from endpointでググり、ヒットしたページhttps://dev.classmethod.jp/articles/saitchan-20210114/
で記載されている、ブロックパブリックアクセス (バケット設定)を確認。パブリックアクセスをすべて ブロックがオフになっていることを確認。
6、https://zenn.dev/akkie1030/articles/aws-cli-setup-tutorial
を見ながら、AWS cliをローカルマシンにインストールしアクセスキーを aws cli の認証情報と紐付ける作業を実施し完了。
7、aws s3 ls バケット名をコマンドとして入力。
8、touch test.txt
aws s3 cp test.txt s3:バケット名で、test.txtファイルが格納されることを確認。WordPress側の原因と断定。
9、アクセスキーを直接設定するのはベストプラクティスではないということなので、aws cli及びwp-config.php内のアクセスキーの削除実施
10、削除実施後、本件回答にてIAMロールの付与方法を受領。現在実施中。
11、EC2サーバーにログイン後、ls -l wp-config.php、id、cat wp-config.phpをしたところ、wp-config.phpファイルがなくなってしまっていることを確認。


### 補足情報（FW/ツールのバージョンなど）

現在WordPressのダッシュボード内に以下の記載があることを確認しています。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-09-15/6e9f0e48-4bf4-41ec-b279-4629bd5af914.jpeg)


AWSのS3に画像が格納できない

### 実現したいこと

・Cent 7のサーバへS3をマウントしたい。

### 前提

Cent7のサーバへmount-s3を使ってS3をマウントしたいです。
その際、mount-s3をサーバへインストールしようとすると
下記、エラーが発生しております。
libc.so.6(GLIBC_2.25)(64bit)をインストールすれば解決するかと思いますが
配布されているパッケージを確認したところ、Cent8以上のものしかありませんでした。

Cent7へmount-s3を使ってS3をマウントすることは不可なのでしょうか。
不可な場合は、s3fsを利用しようと考えております。

お手数ですがアドバイスの程お願いいたします。

### 発生している問題・エラーメッセージ

yum localinstall ./mount-s3.rpm
Loaded plugins: fastestmirror, langpacks
Examining ./mount-s3.rpm: mount-s3-1.0.1-1.x86_64
Marking ./mount-s3.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package mount-s3.x86_64 0:1.0.1-1 will be installed
--> Processing Dependency: libc.so.6(GLIBC_2.18)(64bit) for package: mount-s3-1.0.1-1.x86_64
Loading mirror speeds from cached hostfile
 * base: mirror.aktkn.sg
 * epel: mirrors.bfsu.edu.cn
 * extras: mirror.aktkn.sg
 * updates: mirror.aktkn.sg
--> Processing Dependency: libc.so.6(GLIBC_2.25)(64bit) for package: mount-s3-1.0.1-1.x86_64
--> Finished Dependency Resolution
Error: Package: mount-s3-1.0.1-1.x86_64 (/mount-s3)
           Requires: libc.so.6(GLIBC_2.18)(64bit)
Error: Package: mount-s3-1.0.1-1.x86_64 (/mount-s3)
           Requires: libc.so.6(GLIBC_2.25)(64bit)
 You could try using --skip-broken to work around the problem
 You could try running: rpm -Va --nofiles --nodigest

### 試したこと
libc.so.6(GLIBC_2.25)(64bit)のパッケージ配布サイトを確認しましたが、Amazon linux, Cent8,9等しか配布されておらず、Cent7用のパッケージは配布されておりませんでした。
s3fsでも似たようなことが可能ですが、mount-s3で実行する方が高いパフォーマンスを発揮できるとのことでmount-s3を利用したいと考えております。

### 補足情報（FW/ツールのバージョンなど）


Cent7のサーバへAWS S3をマウントしたい

### 実現したいこと
Boto3で指定したバケットの中にあるファイルを一括でローカル上にダウンロードしたい。
### 前提
S3のバケットの中に格納されているいくつかのファイルを、Boto3を用いて一括でダウンロードができるようにしたいです。
bushを使うことも考えましたが、できることであればBoto3を使いたいと思っています。

### 該当のソースコード

```Python3
    s3.Bucket(bucket_name).download_file(Filename=filename, Key=key)
```

### 試したこと

上記ソースコードを用いてファイル単体のダウンロードを行うことはすでにできています。
・S3のフォルダ1つをまとめてダウンロードしてくる方法
・S3のフォルダの中身をpython上でリストとして取得、そこからループ処理を行ってダウンロードを行う
の2つについて調べているのですが、なかなか進んでいません。

boto3を使ってS3からファイルを一括でダウンロードしたい

rails6.1 / aws sdk v3

S3バケット内にあるファイルを
同一バケットの別フォルダにコピーを試みるとエラーが出ます。

```ここに言語を入力

Aws::S3::Errors::NoSuchKey in UsersController#update
The specified key does not exist.

```

以下が該当のコードです。
```ruby

def s3_copy_image
      if self.avatar_changed?
        # コピー先URLを作成
        target = "#{S3_BUCKET.url}/uploads/user/avatar/#{self.id}/#{File.basename(self.avatar)}"
        
        object = S3_BUCKET.object(self.avatar)
        
        # コピー実行→ここでエラー発生
        object.copy_to(bucket: S3_BUCKET.name, key: target)
        

      end
    end
```

#### 試したこと
Keyはもちろん、それぞれが正しくセットされてるか確認しました。

・target 
コピー先のURLです。
正常にURL作成してました。
https://バケット名.s3.ap-northeast-1.amazonaws.com/uploads/user/avatar/1/finallogowithbg.jpg

・self.avatar
コピー元のURLです。
同じくURLは正常でした。直接叩いたらDLできました。
https://バケット名.s3.ap-northeast-1.amazonaws.com/uploads/temp/1f550ea5-573e-4bec-b718-dfd15e7d2d2c/IMG20210702152727.jpg

・S3_BUCKET.name
バケット名です。
間違いなかったです。



公式も見ましたが、特に原因が分かりませんでした。
[クラス：Aws :: S3 :: Object
](https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Object.html#copy_to-instance_method)



分かる方教えていただけると幸いです。
宜しくお願い致します。


#### キャプチャ追記
key: にURLでなくキーを設定してみたがエラー変わらず。
設定されてる事をキャプチャにして追加。

デバッグすると、URLでなくキーが設定されている
![イメージ説明](42fd503f276d7a7c1924691d3056671f.jpeg)

S3にも、ちゃんとディレクトリは存在している
![イメージ説明](864600a44ad706257eb2635635ed21cf.jpeg)

ファイルコピーを試みると、Keyは存在するのに「NoSuchKey」エラーが出る

### 実現したいこと

buildspec.ymlにCode Buildの処理を書いているのですが、S3にフォルダ名を指定し、作成してアップロードしたいです。
Code Buildについては初めてなため、参考記事やコード例を頂けると幸いです。



### 該当のソースコード

```ここに言語名を入力
BuildSpec: |
  version: "0.2"
  phases:
    install:
      commands:
        - echo "Installing Node.js 18"
        - n 18
    pre_build:
      commands:
    build:
      commands:
    post_build:
      commands:
```


AWS Code Build にて、S3にフォルダを作成してアップロードしたいです。

### 実現したいこと
**大容量ファイル`10GB`から`1TB`までのファイルをマウント先にコピーできるようにする。**

### 運用環境
**予めローカルマシン（almalinux）にマウントされたS3ディレクトリ`/home/samba/share/share_cloud`をSambaで共有し、WindowsクライアントPCからコピーしています。**

- **マウント時のコマンド**
```shell
[root@qsan-beyond ~]# goofys -o allow_other --uid=65534 --gid=65534 --dir-mode=0777 --file-mode=0777 --endpoint https://s3.ap-northeast-1.wasabisys.com testqshare /home/samba/share/share_cloud
```

### 発生している問題
**例えば`test-20GB.dat`をコピーすると次のようになります。**

**【転送○】**
**入力元：`C:\Users\test-goofys\Desktop\テストデータ\`**
**出力先：`X:\share\share_local\data01`**

**【転送✖】**
**入力元：`C:\Users\test-goofys\Desktop\テストデータ\`**
**出力先：`X:\share\share_cloud\data01`**

**※テストファイルはWindows上で以下のコマンドにより作成**
**`fsutil file createnew testdata-20GB`**

### エラーになるタイミング
- **`10GB`付近まではコピーができる模様**
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-08-22/1269060b-65ae-4016-8381-46b110397411.png)
- **コピーが止まり出します**
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-08-22/5d63827c-50b2-46f6-bda0-1be061bfb4be.png)
- **エラー発生**
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-08-22/95a06cd7-facd-4691-a9e3-abce01f2d137.png)

**↓Sambaデーモンの状態確認**
```shell
[root@qsan-beyond ~]# systemctl status smb
● smb.service - Samba SMB Daemon
     Loaded: loaded (/usr/lib/systemd/system/smb.service; enabled; preset: disabled)
     Active: active (running) since Tue 2023-08-22 02:13:13 JST; 1h 21min ago
       Docs: man:smbd(8)
             man:samba(7)
             man:smb.conf(5)
   Main PID: 1549 (smbd)
     Status: "smbd: ready to serve connections..."
      Tasks: 4 (limit: 47163)
     Memory: 8.9M
        CPU: 15.559s
     CGroup: /system.slice/smb.service
             tq1549 /usr/sbin/smbd --foreground --no-process-group
             tq1629 /usr/sbin/smbd --foreground --no-process-group
             tq1630 /usr/sbin/smbd --foreground --no-process-group
             mq2569 /usr/sbin/smbd --foreground --no-process-group

 8月 22 02:13:13 qsan-beyond smbd[1549]:   Copyright Andrew Tridgell and the Samba Team 1992-2022
 8月 22 02:13:13 qsan-beyond systemd[1]: Started Samba SMB Daemon.
 8月 22 02:38:15 qsan-beyond smbd[2244]: [2023/08/22 02:38:15.774853,  0] ../../source3/smbd/smb2_oplock.c:236(remove_oplock)
 8月 22 02:38:15 qsan-beyond smbd[2244]:   remove_oplock: failed to remove share oplock for file share/share_cloud/data01/test-20GB.dat, fnum 2587130975, 47:90:0
 8月 22 02:38:15 qsan-beyond smbd[2244]: [2023/08/22 02:38:15.774920,  0] ../../source3/smbd/close.c:529(close_remove_share_mode)
 8月 22 02:38:15 qsan-beyond smbd[2244]:   close_remove_share_mode: Could not delete share entry for file share/share_cloud/data01/test-20GB.dat
```
**↓上記`failed to remove share oplock for file`及び`Could not delete share entry for file`の対処やSambaのパフォーマンスチューニングを行うためにパラメータを追加**
```smb.conf
[global]
    oplocks = No
    level2 oplocks = No
    blocking locks = No
    deadtime = 15
    use sendfile = yes
    min receivefile size = 16384
    workgroup = WORKGROUP
    server string = SAMBA SERVER Version %v
    security = user
    passdb backend = tdbsam
    dos charset = CP932
    load printers = no
    unix charset = UTF-8
    mangled names = no
    vfs objects = catia
    catia:mappings = 0x22:0xa8,0x2a:0xa4,0x2f:0xf8,0x3a:0xf7,0x3c:0xab,0x3e:0xbb,0x3f:0xbf,0x5c:0xff,0x7c:0xa6
    hosts allow = 192.168. 127.
    max disk size = 0
    log level = 2
    log file = /var/log/samba.log.%m
    encrypt passwords = yes

[homes]
    comment = Home Directories
    valid users = %S, %D%w%S
    browseable = No
    read only = No
    inherit acls = Yes
    vfs objects = recycle
    recycle:repository = .recycle
    recycle:keeptree = no
    recycle:versions = yes
    recycle:touch = no
    recycle:maxsize = 0
    recycle:exclude = *.tmp ~$*

[public]
    comment = Public Stuff
    path = /home/samba
    public = yes
    writable = yes
    only guest = yes
    vfs objects = recycle
    recycle:repository = .recycle
    recycle:keeptree = no
    recycle:versions = yes
    recycle:touch = no
    recycle:maxsize = 0
    recycle:exclude = *.tmp ~$*
    store dos attributes = no
    strict allocate = no
```

### 転送量の比較
- **通常のローカル共有ディレクトリ（比較的安定）**
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-08-22/7643379b-8123-4873-85d9-2616e852d8a0.png)
- **マウントディレクトリ（`4GB`を過ぎたあたりから「102MB/s→68MB/s→22MB/s」と急に落ちる、コピーを始めた途端にプロセス`goofys`のメモリー使用率が高くなる等）**
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-08-22/8453c861-7bf4-4dbd-ab7e-5680f2b9942f.png)

### バージョンについて
**`Almalinux 9.2`**
**`smbd version 4.17.5`**
**`nmbd version 4.17.5`**
**`TeraCopy 3.10`**

### その他、検証したこと
- **３７個のファイル（大きさはランダムですが合計は約20GB）をS3ディレクトリにコピー**
**※内１個はエラー（Timeout）になるものの、サイズを分ければコピーができることを確認**
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-08-22/63f4be81-d27f-4fa6-9e91-5e1420d66604.png)

### アドバイス頂きたい部分
- [ ] **Goofys自体がSambaで共有されたマウントディレクトリをサポートしていない？**
- [ ] **プロセス`goofys`のCPU及びメモリー消費率を抑えることは可能でしょうか？**
- [ ] **`smb.conf`のパラメータ（不要な設定がある場合はご指摘下さいませ）**

### 気になっている情報
- **[ORA-27072_ File I_O error Linux-x86_64 Error_ 95_ Operation not supported · Issue #692 · kahing_goofys](https://github.com/kahing/goofys/issues/688)**

Amazon S3