各ボタンから追加した各テキストエリアをlocalStorageで保存・削除を実行したい

まず初めに、これはlocalStorageに保存ができないのではなく
クリックイベントが付与できていないのが原因です。

#save(n)に対するclickイベントがdocument.readyのタイミングで定義されていますが
#save(n)はbuttonをクリックした際に追加される要素です。つまり、document.readyの段階ではページ上に存在していない要素です。
そのため、例え.on('click', fun)で定義しようと、そのイベントは付与されません。（alertが実行されないのはその為です）
正しくは、append()したタイミングで.on('click', fun)を行う必要があります。

//Ex.
$("#list").append('<textarea id="text1" class="text1"></textarea><button id="save1">保存</button><button id="delete1"  onClick="history.go(0)">削除</button>');
$('#save1').on('click', function(){
  //クリック時の処理
});

 
とはいえ、この要素ごとにいちいち一つづつイベントを作成、付与していくのはあまりにも冗長かつ
無駄にメモリを使用するので、親要素でイベント管理するほうが良いかなと思います。

そこで、まずはHtmlから少し改善して

<!--各ボタンに対して共通クラスを付与。（ここでは.butoon）-->
<button id="ma" class="button">button1</button>
<button id="sa" class="button">button2</button>
<button id="ka" class="button">button3</button>
    <ul id="list">
    </ul>

//コード内でconst,letを使用していますが、そのままvarに置き換えてもOKです。
$(function() {
    const wrapper = $('#list');
    //documentではなく、上記Htmlの親要素のidでもOK
    $(document).on('click', '.button, .save, .delete', function(){ //$(element)以下の.button, .save, .deleteを持つ要素すべてに対してクリックイベントを（この方法は後から追加された要素に対しても有効）
        let elClass = $(this).attr('class') //クリックされた要素のクラス名を取得
        let num = $('.'+elClass).index(this); //その要素が同一クラスを持つ要素の中で何番目か取得
        let n = num + 1;

        if( $(this).hasClass('button') ){ //.buttonなら
            wrapper.append('<textarea id="text'+ n +'" class="text"></textarea><button id="save'+ n +'" class="save">保存</button><button id="delete'+ n +'" class="delete" onClick="history.go(0)">削除</button>'); //追加されるtextarea、保存、削除用ボタンも共通クラスに変更
        }else if( $(this).hasClass('save') ){ //.saveなら
            let val = $("#list .text").eq(num).val();
            localStorage.setItem('text'+n , val ); //window.は無くてOK
            alert("データ"+n+"を保存しました。");
        }else{ //.deleteなら
            localStorage.removeItem('text'+n); // removeItem()の引数はkeyのみ（valueは不要）
            alert("データ"+n+"を削除しました。");    
        }
    });
});

getItem()の箇所と
localStorage.clear()の箇所はいまいちどのようにしたいのかピンとこなかったので割愛しています。

buttonを押した時に追加されるtextarea内に、localStorage内に対応するデータが保存されていた場合
その内容を表示する、というのであれば上記コード内のif( $(this).hasClass('button') ){ ...}の箇所へ

wrapper.append('<textarea〜);
if(localStorage.getItem('text'+n)){
    $('#text'+n).val(localStorage.getItem('text'+n))
}

とでもしてやれば良いでしょう。

削除ボタンに対してhistory.go(0)がonClick属性で付与されているため、
削除ボタンを押すと毎回リロードされてしまうかたちになりますが、これも意図通りなのでしょうか？

また、#deleteという要素が質問のコード内に存在していないため
その要素へ設定したクリックイベントも割愛しています。

localStorageは文字列の保存ができないため

そんなことはありません。localStorageは文字列で保存されます。
（もしくはオブジェクト形式での保存のいずれかになります）

あと細かいことですが、JavaとJavaScriptは別言語ですので混同しないようにしておきましょう。

追記

こちらの環境ではすべて保存ができていますが…。（リアルタイムでstorageへ追加されているのが確認できない場合あり。注：保存はされている＝リロードすると保存できているのが確認可）

$(document).on('click', '#save1', function(){
    window.localStorage.setItem('text1',  $("#list .text1").val());
    alert("データ1を保存しました。");
});

$(document).on('click', '#save2', function(){
    window.localStorage.setItem('text2',  $("#list .text2").val());
    alert("データ2を保存しました。");
});

$(document).on('click', '#save3', function(){
    window.localStorage.setItem('text3',  $("#list .text3").val());
    alert("データ3を保存しました。");
});

これでいかがでしょうか？

変更部分は
$("#save1").click(function(){
を
$(document).on('click', '#save1', function(){
に置き換えております。

少し気になって調べてみましたら、興味深い記事がありました。

jQueryのappendメソッドなどで後から追加した要素にclickイベントを設定するとクリックをしているのに動かないことがあります。
そういうときは、onメソッドを使うと解決できる

clickイベント(jQuery)の罠

私もこの問題で引っかかりそうでしたので大変勉強になりました。
頑張って開発を続けてくださいね。