selenium で ブラウザのデフォルトダウンロード先をS3にする方法

Question

前提・実現したいこと

seleniumを使ったブラウザ自動化プログラムをherokuにデプロイしています。

seleniumによる操作で、ダウンロードボタンをクリックする、というものがあります。

herokuではローカル保存が出来ないので、ダウンロード先をAWS S3 にしたいと思っていますが、その方法がわかりませんのでこちらで質問させていただきます。

このダウンロード以外の挙動はすべて想定通り動いています。

なお、AWSにおいては、次のように設定しています。
・パブリックアクセスをすべて ブロック
・Cross-Origin Resource Sharing (CORS)には以下の記述をしています。

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "PUT",
            "POST",
            "GET"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": []
    }
]

参考サイト heroku Python での S3 へのファイルの直接アップロード

該当のソースコードとやってみたこと

def launch_browserHeroku(url):
    CHROME_DRIVER_PATH = '/app/.chromedriver/bin/chromedriver'

    # もともとは↓のように記述しています。
    # DOWNLOAD_DIR = '/app/tmp'

    # このようにやってみましたがNGでした ↓↓↓↓↓
    AWS_ACCESS_KEY = "xxxxxxx"
    AWS_SECRET_KEY = "xxxxxxx"

    fs = s3fs.S3FileSystem(key=AWS_ACCESS_KEY, secret=AWS_SECRET_KEY)

    DOWNLOAD_DIR = fs.ls('/') # ダメだったパターン１ =>fs.lsはリストを返すのでNG
    DOWNLOAD_DIR = 's3://xxxxx/' # ダメだったパターン２ => s3://xx を参照できずにNG
    # このようにやってみましたがNGでした ↑↑↑↑↑

    if not os.path.exists(DOWNLOAD_DIR):
        os.mkdir(DOWNLOAD_DIR)

    options = Options()
    if CHROME_DRIVER_PATH:
        options.binary_location = '/app/.apt/usr/bin/google-chrome'

    options.add_argument('--headless')
    options.add_argument('--disable-gpu')
    options.add_argument('--no-sandbox')
    options.add_argument('--window-size=5760,4320')
    options.add_argument('start-maximized')
    options.add_argument('--disable-dev-shm-usage')

    prefs = {
        'download.default_directory': DOWNLOAD_DIR,
        'download.prompt_for_download': False,
        }
    options.add_experimental_option('prefs', prefs)

    browser = webdriver.Chrome(executable_path=CHROME_DRIVER_PATH, options=options)
    browser.command_executor._commands['send_command'] = ('POST', '/session/$sessionId/chromium/send_command')
    params = {'cmd': 'Page.setDownloadBehavior', 'params': {'behavior': 'allow', 'downloadPath': DOWNLOAD_DIR}}
    browser.execute('send_command', params)

    browser.implicitly_wait(10)
    browser.get(url)

    return browser

AWSの認証が取れていなのだろうと検討はつくのですが、どうしたらAWSの認証が通り、指定したS3バケットにダウンロード先を変更できるようになるのか分かりませんでした。

補足情報（FW/ツールのバージョンなど）

python: 3.8.6
selenium: 3.141.0
chromedriver-binary: 90.0.4430.24

ご回答、どうぞよろしくお願いいたします。

Answer 1

ダウンロード先を直接S3にするのはそもそも無理でしょう。
結局heroku上に一度ダウンロードし、そのダウンロードしたものをS3にアップする処理を入れる必要があるのでそれを実装してください。
参考サイトでやっているのは、フォームでアップロードされたものの保存先をS3にする方法であって、ダウンロードされたものの保存先をS3にする方法ではありません。普通のストレージではないのでそんな事はできないと思います。（見かけの上でそれに近い形にはできるかもしれませんが）

記載されている実装内容を素直に読み解くと、S3上の/という名前のバケットの配下にあるファイルを表示させ、それをDOWNLOAD_DIRに格納して渡そうとしています。
/という名前のバケットを参照しようとしても多分そんなバケットはないですし権限云々以前にまあエラーになるでしょう。

何も言わずにs3fsというライブラリ（※）を使っていますが、おそらく/というバケットを参照しようとして使っているのではないとは思いますのでまず使い方を確認してください。
S3Fs
※通常S3FSで想像するものはS3をマウントするツールですが、それとは別物でPython製のboto3をラップしたS3を操作するためのライブラリ）

Comments

[ak_suzuki]

ありがとうございます。そもそも無理なんですね。そうすると対策方法を根本から見直す必要がありますね。良い気づきをいただきました。