ErrorDocument は、404の時にお返事として表示するページを指定するところで、
リダイレクト先を設定するところではありませんよ。
ファイルが無い時
ディレクトリが無い時
トップページに移動させたいのであれば、多分こんな感じ。。?
(動作確認はしてないので間違ってたらすみません)
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . / [R]
roguerefさんが回答されているのが正しいようなので、回答の一部を取下げます。。。
.htaccess が有効かどうかの、簡単な確認方法を追記しておきます。
ドキュメントルート(ドメインにアクセスしたときに、一番最初に表示されるindex.htmlとかが置いてあるディレクトリ)に、テスト用のディレクトリを作ります。
ここでは仮に、test とします。
その下に、
index.html(中身はブラウザで表示できるものなら、なんでもいいです。)
と
空の .htaccessファイルを置きます。
まずは、
https://ドメイン.co.jp/test
にアクセスすると、testディレクトリに設置したindex.htmlが表示されることを念の為確認します。(ここが見れてないと、次の確認が意味ないので・・)
次に、test/.htaccessを開いて、
test
とだけ書いて保存します。
※これは.htaccessの記述としては間違いですが、それを利用して.htaccessが有効かを確認する方法なので、わざとです。
再び、
https://ドメイン.co.jp/test
にアクセスします。
先ほどと同じように、正常にindex.htmlが表示されるのであれば、.htaccessファイルは無効になっていると判断できます。
Internal Server Error が表示される、あるいは真っ白になるなど、先ほどと違う状態になれば、
.htaccessは有効と判断できます。
確認が終わったら、testディレクトリは削除してくださいね。
※なお、ドキュメントルート直下の.htacessでも同じ方法で確認可能ですが、
それだとサイト全てがエラーで見られなくなるので、テスト用のディレクトリを作って確認する方が安全です。。。