Java OpenGL フルスクリーン時の不具合

Question

実現したいこと

GPUを用いて(パフォーマンスを落とすことなく)描画をしながらも、アプリケーションでフルスクリーン表示をした時も正常に描画されるようにしたい

発生している問題・分からないこと

Eclipseを用いてエクスポートした実行可能jarファイルを、jpackageを使ってJVM引数を-Dsun.java2d.opengl=Trueと設定してインストーラを作り、それを使ってアプリケーションをインストールして実行すると、以下のメソッドを使ってフルスクリーン表示させた時に、Jpanelインスタンス上にdrawImageやdrawStringを用いて描画したものが表示されなくなる。加えて、カーソルも表示されない。しかし、jarファイルをコマンドプロンプトで実行した時(JVM引数は同じ)は、正常に描画される。-Dsun.java2d.opengl=Falseと設定してインストーラを作った時にも正常に描画される。

該当のソースコード

	public static void toggleScreenMode(final boolean fullScreen) {
		
		if (gameFrame != null) {gameFrame.dispose();}
		gameFrame = new JFrame();
		setFrameDefaultValue(gameFrame);
		
		//フルスクリーンにする
		if (fullScreen == true) {
			gameFrame.setUndecorated(true); // タイトルバーを削除
			if (device.isFullScreenSupported()) {
				device.setFullScreenWindow(gameFrame); // フルスクリーンに設定
			}
			
			isFullScreen = true;
		}
		//フルスクリーン解除する
		else if (fullScreen == false) {
			gameFrame.pack(); //サブコンポーネントの推奨サイズおよびレイアウトに合わせて、ウィンドウサイズを変更
			gameFrame.setLocationRelativeTo(null);
			gameFrame.setVisible(true);
			
			isFullScreen = false;
		}
		
	}

// Threadのインスタンスのstartメソッドから呼び出される
// 1/60秒ごとにupdateメソッドとrepaintメソッドを実行する
@Override
public void run() {

gameIsRunning = true; //gameIsRunningがtrueの時のみキーを操作可能にする

while(gameThread != null) {
currentTime = System.nanoTime();
if (currentTime - lastTime >= drawInterval) { //drawInterval == 1000000000.0/60.0
update(); //各インスタンスのupdateメソッドを実行する
repaint(widthOfBlackScreen, 0, monitorWidth-2*widthOfBlackScreen, monitorHeight); //paintComponentメソッドを呼び出す(widthOfBlackScreenは、ゲーム画面が描画される部分を横:縦=3:4にするために両脇に表示させる黒い部分の幅)
lastTime = currentTime;
}
}
}

@Override
public void paintComponent(final Graphics g) {
super.paintComponent(g); //コンポーネントの背景をクリア

g2 = (Graphics2D)g;

// Debug
drawStartNanosecond = 0;
if (keyH.getDrawTimeIsBeingChecked() == true) {drawStartNanosecond = System.nanoTime();}

// Background
bgHandler.draw(g2);


if (gameState != titleState) {
// タイルの描画
tileM.draw(g2);

// Itemのサブクラスのインスタンスの描画
for (int i = 0; i < item.length; i++) {
if (item[i] != null) {item[i].draw(g2);}
}

// worldYによってentitiesの描画する順番を変える
entities[0] = player;
for (int i = 1; i < 1+npc.length; i++) {
if (npc[i-1] != null) {entities[i] = npc[i-1];}
}
for (int i = 1+npc.length; i < 1+npc.length+animatePicture.length; i++) {
if (animatePicture[i-1-npc.length] != null) {entities[i] = animatePicture[i-1-npc.length];}
}
for (int i = 1+npc.length+animatePicture.length; i < entities.length; i++) {
if (obj[i-1-npc.length-animatePicture.length] != null) {entities[i] = obj[i-1-npc.length-animatePicture.length];}
}
UtilityTool.sort(entities, this);
for (int i = 0; i < entities.length; i++) {
if (entities[i] != null) {entities[i].draw(g2);}
}
}

// UI描画
uiDrawer.draw(g2);

// Debug
if (keyH.getDrawTimeIsBeingChecked() == true) {
drawEndNanosecond = System.nanoTime();
passedNanosecond = drawEndNanosecond - drawStartNanosecond;
g2.setColor(Color.white);
g2.setFont(uiDrawer.maruMonica.deriveFont(50F));
String s = (Integer.toString((int)passedNanosecond));
g2.drawString("DrawingTime: "+s+"ns"+"("+monitorWidth+":"+monitorHeight+")", widthOfBlackScreen+tileSize/2, UtilityTool.getCenteredTextY(s.toString(), this, g2));
}

g2.dispose();
}

簡略化したソースコード(＋ エラーをtxtファイルに出力する)

Main.java

package main;

import java.awt.GraphicsDevice;
import java.awt.GraphicsEnvironment;
import java.io.FileWriter;
import java.io.IOException;

import javax.swing.JFrame;

public class Main {
	
	private static JFrame gameFrame = new JFrame();
	private static final GamePanel gp = new GamePanel();
	private static GraphicsEnvironment env = GraphicsEnvironment.getLocalGraphicsEnvironment();
	private static GraphicsDevice device = env.getDefaultScreenDevice();
	
	private static FileWriter fileWriter;

	public static void main(String[] args) {
		try {
			try {
				fileWriter = new FileWriter("該当フォルダのパス\\Debug_Main_main.txt", true);
				fileWriter.write("Start");
				fileWriter.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
			
			gameFrame = new JFrame();
			gameFrame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
			gameFrame.add(gp);
			
			gameFrame.setUndecorated(true);
			device.setFullScreenWindow(gameFrame);
			
			gp.startGame();
			
		} catch (Exception e) {
			try {
				fileWriter = new FileWriter("該当フォルダのパス\\Debug_Main_main.txt", true);
				fileWriter.write(e.getMessage());
				fileWriter.close();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
        }
		
	}
}

GamePanel.java

package main;

import java.awt.Graphics;
import java.awt.Graphics2D;
import java.io.FileWriter;
import java.io.IOException;

import javax.swing.JPanel;

public class GamePanel extends JPanel implements Runnable {
	//FPS
	public final int FPS = 60;
	private final double drawInterval = 1000000000.0/FPS;
	long lastTime = 0;
	long currentTime = 0;
	
	// SYSTEM
	private Graphics2D g2;
	private Thread gameThread;
	private FileWriter fileWriter;
	
	public void startGame() { //Mainクラスから呼び出される
		try {
			//パネルのThreadを開始 => run()
			gameThread = new Thread(this);
			gameThread.start();
		} catch (Exception e) {
			try {
				fileWriter = new FileWriter("該当フォルダのパス\\Debug_GamePanel_startGame.txt", true);
				fileWriter.write(e.getMessage());
				fileWriter.close();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
		}
	}
	
	@Override
	public void run() {
		while(gameThread != null) {
			try {
				currentTime = System.nanoTime();
				if (currentTime - lastTime >= drawInterval) {
					repaint(0, 0, 1920, 1080);
					lastTime = currentTime;
				}
			} catch (Exception e) {
				try {
					fileWriter = new FileWriter("該当フォルダのパス\\Debug_GamePanel_run.txt", true);
					fileWriter.write(e.getMessage());
					fileWriter.close();
				} catch (IOException e1) {
					e1.printStackTrace();
				}
			}
		}
	}
	
	//repaintメソッドから呼び出される
	@Override
	public void paintComponent(final Graphics g) {
		try {
			super.paintComponent(g);
			
			g2 = (Graphics2D)g;
			
			g2.drawString("A", 960, 540);
			
			g2.dispose();
		} catch (Exception e) {
			try {
				fileWriter = new FileWriter("該当フォルダのパス\\Debug_GamePanel_paintComponent.txt", true);
				fileWriter.write(e.getMessage());
				fileWriter.close();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
		}
	}
}

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

• Googleで「Java OpenGL フルスクリーン」などと調べ、setExtendedStateメソッドを使ったフルスクリーンの方法も試したが、解決しなかった。
• ChatGPT(GPT-4)を用いて以上の質問を入力し、以下のような結果がいくつか得られたが、解決には至らなかった。

[ChatGPTの回答]
問題の状況について理解しました。jpackageを用いて作成したJavaアプリケーションでフルスクリーン時に問題が発生するが、コマンドプロンプトから同じJVM引数で実行すると問題が発生しないということですね。この問題は、jpackageでパッケージ化されたアプリケーションの設定や環境が、直接コマンドプロンプトから実行する場合と異なることに起因している可能性があります。

以下にいくつかの改善策を提案します。

1. JVM引数の確認

jpackageで作成したアプリケーションのJVM引数が正しく設定されているかを再確認してください。パッケージ化のプロセスで引数が適切に引き継がれているか、特に-Dsun.java2d.opengl=Trueが含まれているかを確認します。
2. 環境設定の確認
パッケージ化されたアプリケーションが実行される環境（パス、依存関係など）が、コマンドプロンプトから実行する環境と同じかどうかを確認します。異なる環境設定が影響している場合があります。
3. 描画関連のコードの確認
Graphics2DのdrawImageメソッドに関連するコードが、OpenGLとの互換性を持つように最適化されているかを確認します。特にフルスクリーンモードでの描画方法に注意してください。
4. グラフィックス設定の確認
使用しているグラフィックスカードの設定やドライバーが、OpenGLとの互換性を持つように設定されているかを確認します。ドライバーの更新や設定の変更が必要な場合があります。
5. デバッグ情報の利用
アプリケーションをデバッグモードで実行し、フルスクリーンモード時に発生するエラーや警告を確認します。ログ出力を増やして、問題の原因を特定する手がかりを探します。
6. 他のJVMオプションの試行
他のJVMオプションを試してみるのも一つの方法です。例えば、-Dsun.java2d.noddraw=trueや-Dsun.java2d.d3d=falseなど、異なるグラフィックス関連のオプションを試してみると良いでしょう。
7. jpackageの設定の再確認
jpackageを使用する際の設定やコマンドラインオプションを再確認し、必要な設定が漏れていないか確認します。
これらのステップを踏むことで、問題の原因を特定し、適切な解決策を見つけることができるはずです。また、問題が解決しない場合は、Javaの開発者コミュニティやフォーラムで支援を求めることも検討してください。

補足

開発や実行はすべてWindows11(64ビット)を用いて行い、JDK17とEclipseを用いてJava17のライブラリのawtとswingを使って2Dゲームを作成。awtのrepaintメソッドが1秒間に60回実行される(以下のrunメソッド参照)ことで、Graphics2DのdrawImageやdrawStringを用いた描画(paintComponentメソッドは以下参照)。jpackageを使うにあたってWiXのv3.11.2.4516をダウンロードし、以下のようなコマンドをコマンドプロンプトで実行してインストーラを作成。
「jpackage --type exe --vendor "Shun" --win-menu --win-dir-chooser --win-shortcut --win-shortcut-prompt --input Jarファイルがあるディレクトリのパス --name MyGame --main-jar MyGame.jar --main-class main.Main --java-options "-Dsun.java2d.dpiaware=true" --java-options "-Dsun.java2d.uiScale=1.0" --java-options "-Xmx2048m" --java-options "-Dsun.java2d.opengl=True" --dest Jarファイルがあるディレクトリのパス」

Comments

[1T2R3M4]

https://ja.stackoverflow.com/questions/98328
以下ご対応ください。
https://teratail.com/help#posted-otherservice

[jimbe]

どのようなライブラリ・バージョン・環境を作って、ご提示のコードを使ってどのような jar を作り、 jpackage でどのようなインストーラを作って何の OS で実行すれば再現出来ますか。

[ShunKitajima]

ご返答ありがとうございます。

開発や実行はすべてWindows11(64ビット)を用いて行い、JDK17とEclipseを用いてJava17のライブラリのawtとswingを使って2Dゲームを作成しました。awtのrepaintメソッドが1秒間に60回実行される(以下のrunメソッド参照)ことで、Graphics2DのdrawImageやdrawStringを用いた描画をしています(paintComponentメソッドは以下参照)。jpackageを使うにあたってWiXのv3.11.2.4516をダウンロードし、以下のようなコマンドをコマンドプロンプトで実行してインストーラを作りました。
「jpackage --type exe --vendor "Shun" --win-menu --win-dir-chooser --win-shortcut --win-shortcut-prompt --input Jarファイルがあるディレクトリのパス --name MyGame --main-jar MyGame.jar --main-class main.Main --java-options "-Dsun.java2d.dpiaware=true" --java-options "-Dsun.java2d.uiScale=1.0" --java-options "-Xmx2048m" --java-options "-Dsun.java2d.opengl=True" --dest Jarファイルがあるディレクトリのパス」

説明不足がございましたら申し訳ありません。

--------------------------------------------------
'''

// Threadのインスタンスのstartメソッドから呼び出される
// 1/60秒ごとにupdateメソッドとrepaintメソッドを実行する
@Override
public void run() {

gameIsRunning = true; //gameIsRunningがtrueの時のみキーを操作可能にする

while(gameThread != null) {
currentTime = System.nanoTime();
if (currentTime - lastTime >= drawInterval) { //drawInterval == 1000000000.0/60.0
update(); //各インスタンスのupdateメソッドを実行する
repaint(widthOfBlackScreen, 0, monitorWidth-2*widthOfBlackScreen, monitorHeight); //paintComponentメソッドを呼び出す(widthOfBlackScreenは、ゲーム画面が描画される部分を横:縦=3:4にするために両脇に表示させる黒い部分の幅)
lastTime = currentTime;
}
}
}

'''
--------------------------------------------------
'''

@Override
public void paintComponent(final Graphics g) {
super.paintComponent(g); //コンポーネントの背景をクリア

g2 = (Graphics2D)g;

// Debug
drawStartNanosecond = 0;
if (keyH.getDrawTimeIsBeingChecked() == true) {drawStartNanosecond = System.nanoTime();}

// Background
bgHandler.draw(g2);

if (gameState != titleState) {
// タイルの描画
tileM.draw(g2);

// Itemのサブクラスのインスタンスの描画
for (int i = 0; i < item.length; i++) {
if (item[i] != null) {item[i].draw(g2);}
}

// worldYによってentitiesの描画する順番を変える
entities[0] = player;
for (int i = 1; i < 1+npc.length; i++) {
if (npc[i-1] != null) {entities[i] = npc[i-1];}
}
for (int i = 1+npc.length; i < 1+npc.length+animatePicture.length; i++) {
if (animatePicture[i-1-npc.length] != null) {entities[i] = animatePicture[i-1-npc.length];}
}
for (int i = 1+npc.length+animatePicture.length; i < entities.length; i++) {
if (obj[i-1-npc.length-animatePicture.length] != null) {entities[i] = obj[i-1-npc.length-animatePicture.length];}
}
UtilityTool.sort(entities, this);
for (int i = 0; i < entities.length; i++) {
if (entities[i] != null) {entities[i].draw(g2);}
}
}

// UI描画
uiDrawer.draw(g2);

// Debug
if (keyH.getDrawTimeIsBeingChecked() == true) {
drawEndNanosecond = System.nanoTime();
passedNanosecond = drawEndNanosecond - drawStartNanosecond;
g2.setColor(Color.white);
g2.setFont(uiDrawer.maruMonica.deriveFont(50F));
String s = (Integer.toString((int)passedNanosecond));
g2.drawString("DrawingTime: "+s+"ns"+"("+monitorWidth+":"+monitorHeight+")", widthOfBlackScreen+tileSize/2, UtilityTool.getCenteredTextY(s.toString(), this, g2));
}

g2.dispose();
}

'''

[jimbe]

説明が不足していました。
ここは質問へのコメント欄ですので、質問に関する情報は質問を編集して追加・変更してください。

スレッドとペイントのコードを戴きましたが、これらから実行出来るコードを構築するには多数の変数やクラスを想像で書かなければなりません。相続が間違っていれば同じ現象が発生する可能性も低くなり、発生しても同じ原因かどうかも分からなくなります。

先ずはお手元のプロジェクトをコピーして、例えば paintComponent では "A" を表示するだけにするとかスレッドでは 1 秒スリープして update/repaint を呼ぶだけにするとか、構造はあまり変えずに各部の処理を簡略化・最小化してはインストーラを作ってテストを繰り返し、再現する最小のコードを作って見てください。
その過程で再現しなくなったら、直前に弄った部分が問題に関係している可能性がありますし、再現する最小のコードなら全文を質問にご提示戴けるかもしれません。

また、デバッグ情報をファイルに出力させる構造を作れば、画面に書かれなくても何が起きているのかを調べることが出来ます。

[ShunKitajima]

ご回答ありがとうございます。ソースコードを問題が再現できる最小のものまで簡略化し、当該フォルダのテキストファイルにエラーを出力するプログラムを加えたものと、コメント欄のソースコードを追記しました。

このプログラムをEclipseで同様にエクスポートし、実行可能jarファイルを同じ方法で実行した時も同様の問題が起き、インストーラを作成してインストールしたアプリケーションを開いた場合も、問題は同様に起こりました。また、どちらの場合にも、出力ファイルには(書き込みが正常に行われているか確認するための)「Start」のみ出力されていて、エラーは出力されていませんでした。

ご確認よろしくお願い致します。

[jimbe]

ありがとうございます。後ほど試してみようと思います。

Windows10 上でインストーラ作成・インストールしているのですが、 JFrame 自体が表示されず調査中です。
今の所 Eclipse での実行や、実行可能 jar を作成してコマンドラインでの実行では、 opengl=true にしても表示されています。もちろんエラー出力もありません。

[jimbe]

sun.java2d.opengl の true/True はこちらの環境ではフレーム自体が出たり出なかったりとか不安定な感じです。出た時はちゃんと表示されます。
あちこち探し回った感じでは OS 等を含む OpenGL の環境に因ってどうなるか分からないような部分が(まだ?)ありそうです。
OpenGL を使うなら明示的に JOGL のようなライブラリを使って行うのが良いのかもしれません。

[ShunKitajima]

諸々丁寧に対応していただきありがとうございます。
後日、JOGLを用いて該当コードを書き換え、動作確認をしてみます。

JOGLについて調べているうちに解決することができました！ありがとうございます！

Answer 1

実行したいjarファイルを実行するためのプログラム(ランチャー)を作り、そのインストーラを作る際に実行したいjarファイルが入ったフォルダもまとめてインストールさせ、間接的にjarファイルを実行する方針で進めるとうまくいきました。

以下は、MyGameLauncher.jar(ランチャー)のインストーラを作成する際にコマンドプロンプトから実行したjpackageコマンドの例と、ランチャーのプログラムです。ここでは、実行したいjarファイルの名前はMyGame.jarとしています。

jpackage --type exe --win-menu --win-shortcut --win-shortcut-prompt --input MyGame.jarが入っているディレクトリのパス --name MyGameLauncher --main-jar MyGameLauncher.jarが入っているディレクトリのパス\MyGameLauncher.jar --main-class ランチャーのメインクラス

package main;
import java.io.IOException;

public class Launcher {
    public static void main(String[] args) {
        try {
            // JARファイルのパス
            String jarPath = "app\\MyGame.jar";

            // ProcessBuilderにコマンドラインオプションを設定
            ProcessBuilder processBuilder = new ProcessBuilder(
                "java",
                "-Dsun.java2d.opengl=True",
                "-jar",
                jarPath
            );

            // プロセスの開始
            Process process = processBuilder.start();

            // プロセスの終了を待つ
            process.waitFor();

        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
            Thread.currentThread().interrupt();
        }
    }
}