Google Colabを使ってスクレイピングしたデータをCSVでダウンロードしようとするとMessageError: TypeError: Failed to fetchが出る場合

Question

前提・エラー

Google Colabを使用してスクレイピングを行なっています。
スクレイピング自体は全く問題なく行えているのですが、最後にそれらをCSVとして出力しようとすると

MessageError: TypeError: Failed to fetch

というエラーが出てしまいます。
Chromeのthird party cookieをdisableにする解決策は至る所の回答で見て試してみたのですが、未だに上手くいきません。

試した事

time.sleep(10)

filename = "test.csv"
df.to_csv(filename, encoding = 'utf-8-sig')
files.download(filename)

ダウンロード前にsleep()をつけましたがこちらも上手くいきませんでした。

唯一上手くダウンロードする方法として「検証モードでネットワークタブを開きながら」スクレイピングを実行するとエラー無くファイルがダウンロードされます（何故だかは検討もつきません）

教えて頂きたい事

検証モードを毎回開かなくてもこのエラーを回避する方法を知っている方がいらっしゃいましたら、是非お知恵を拝借したいと願っております。

また、検証モードでエラーが起きない理由にも心当たりのある方は是非教えてください。

よろしくお願い致します。

Answer 1

私も同様の現象で困っていました。

私もcookieあたりだと推測しますが解決に至らずでした。
結局、ローカルへのダウンロードは諦めてGoogleドライブへ保存する方法にしたら
同様のエラーは起きず正常に保存されてました。

ご参考までに。