質問コメントを拝見したのでちょっと補足しておきます。
JFrame#setUndecorated(true)
などとしない限り、JFrameの外側に環境依存のデコレーション(典型的にはタイトルバー)が自動的にくっついてくれます。そこにはトップレベルウィンドウ(この場合はJFrame)を閉じたりminimizeするボタンがあるはずです。少なくともWindows, Macintosh, LinuxのGNOMEウィンドウマネージャーなどではそれらのボタンがあります。またそのボタンが押されたときウィンドウを最小化するためにJava上で特に何かしなくても大丈夫です。Javaの外側の世界(ウィンドウマネージャー的なもの)がよきにはからってくれます。
いずれにせよ普通はswingコンポーネントに「ウィンドウのminimize用のボタン」を配置する必要性はないです。
一方、環境依存のデコレーションをなんらかの理由で「あえてつけたくない」ということですと話は違ってきます。「なんとかしてJTabbedPaneにminimizeボタンを配置する」方向を考えたくなるかも知れません。その方法はなくはないですが少々難易度が高く「曲芸」的なものになるかも知れません。個人的にはそういった曲芸よりは環境依存デコレーションに任せた方が素直だと思います。
ご質問のスクリーンショットを拝見するとswingの画面を構成する何らかのツールをお使いのように思えました。そのツールでは「トップレベルウィンドウに自動的に付加される環境依存のデコレーション」が編集中は表示されない仕様なのだと思います。質問者さんはその編集画面だけを見てminimizeボタンをつけようと考えてしまったのではないでしょうか?
追記: 目的がJTabbedPaneのminimizeだったことに対する追記
どうやればよいか自信ないのですが自分なりに思いつく方法は2つほどです。
- JTabbedPaneの外観を決めるjavax.swing.plaf.TabbedPaneUIを改造(自作)する
実際のクラスはjavax.swing.plaf.metal.MetalTabbedPaneUI(WindowsでのデフォルトのUIクラス)などにありますが、これを改造してそれをJTabbedPaneのUIへ設定してやると外観や細かな機能までカスタマイズできます。ただ普通のアプリケーションで改造することは少ないでしょうから難易度が高いと思います。自力でコードを読み解かなければならないかも知れません。
TabbedPaneUI改造よりはずっと簡単ですが、動作は完全ではなくなんちゃってな方法です。JLayeredPaneにJTabbedPaneとJButtonを配置してJLayeredPaneのタブの高さなどに注意しつつそれらしい大きさでボタンを右上の方へ配置するのですが、JTabbedPaneは右上に何かを配置するようには設計されてませんのでタブが多くなるとminimizeボタンの裏側までタブが並んでしまうでしょう。それを許容できないならタブの領域がminimizeボタンに重ならないよう、少しばかりディープな調査が必要かも知れません。
なお、回答コメントで言っておられるEclipseのUIのように世の中にはそうした凝ったUIだってあるのでだれかがカスタムコントロールの実装記事を書いているかも知れません。そうしたものを探してみるのも有力なアプローチだと思います。