Cloud9からSeleniumを使用してchrome上のCSVダウンロードボタンを押す。そのCSVの保存先をcloud9のディレクトリにする。

前提・実現したいこと

Cloud9からSeleniumを使用してchrome上のCSVダウンロードボタンを押す。そのCSVの保存先をcloud9実行ディレクトリにする。

webページのCSVをダウンロードするボタンをクリックするために、seleniumを使用してRPAのようなプログラムを書きました。まずはローカルで作って見て、自分のパソコンに落とすことができました。しかし、cloud9にコードをコピーして、ダウンロード先にcloud9のディレクトリを指定したところうまくいきません。

そこで、データが正しく保存されているかどうかを確認するために下記のコードを書きました。
ローカルではこのコードでうまくいっています。

該当のソースコード

python
1lambda_handler(event, context):
2    CHROME_DRIVER_PATH = "/opt/bin/chromedriver"
3    HEADLESS_CHROMIUM_PATH = "/opt/bin/headless-chromium"
4    options = webdriver.ChromeOptions()
5　　　　　　　　#〜中略〜
6
7    #csvダウンロード先を指定する
8    iDir = "/home/ec2-user/environment/test/scraping/tmp"
9　　　　　　　　#chromeのデフォルトの保存先を上記ディレクトリにする
10    options.add_experimental_option("prefs",
11                                    {"download.default_directory": iDir}
12    driver = webdriver.Chrome(executable_path = CHROME_DRIVER_PATH, options=options)
13    # ウェブページにブラウザ操作でログイン
14    driver.get("URL")  #ログインURL
15　　　　　　　　#〜中略〜
16
17　
18    # ダウンロード先に保存されているcsvを読み込む。降順にソートして最新のcsvを読み込むようにする。
19    csv_list = glob.glob(f'{iDir}//*.csv')
20    csv_list = sorted(csv_list, reverse=True)#最新データが欲しいので、降順にソート
21    print(bool(csv_list))#ダウンロード先が空かどうか確認
22    print(csv_list)#csv_list中身の確認
23    csv_latest = csv_list[0]#ソート後の先頭＝最新のcsvを取ってくる
24    print(csv_latest)

保存先をローカルに指定するとうまくいき、下記のようなコードが返ってきます。

python
1True　 #print(bool(csv_list))
2["1028.csv","1027.csv","1026.csv"] #print(csv_list)
3
4"1028.csv"#print(csv_latest)
5

しかし保存先にcloud9を指定するとうまくいかず下記のコードが返ってきます。

発生している問題・エラーメッセージ

python
1False　 #print(bool(csv_list))
2[] #print(csv_list)
3
4#print(csv_latest)
5list index out of range: IndexError
6Traceback (most recent call last):
7  File "/var/task/app.py", line 109, in lambda_handler
8    csv_latest = csv_list[0]
9IndexError: list index out of range