java プロジェクトディレクトリの構成について

selenium, WebDriverを利用してWEBサイトへアクセス・画面操作・画面キャプチャ/画面ソース保存等を自動で行うようなコードをJavaで書いています。その際JUnitを利用しており、現状、プロジェクトディレクトリでsrc/main/javaを使用せず、src/test/java( src/test/resources/ )のみで書いています。
 src/test/java配下のパッケージは大まかには

• common
  ├ セットアップ用クラス(chromeDriverのセット、seleniumServerの立ち上げ・ストップ)
  └ ドライバのコンテキストクラス、汎用的なメソッド類(キャプチャ保存等)
• senario
  └ 画面操作のパターンクラス
• invoke
  └ 上記senarioを実行するクラス 

のように構成しています。

 動かすのに問題はないのですが、src/main/javaを使用しないプロジェクトはおかしいということはないでしょうか。もっとこういうやり方にしたほうがよい等のご助言を賜りたく、ご意見いただけませんでしょうか。

[追記] なぜJUnitを使っているか：
 senarioのいくつかを一度に（順繰りに）行う等するため、リスト（chromeとFireFoxのドライバ。IEのドライバはうまく動作しなかったため、除外しました）にしているコンテキストをforEachで実行させるようにしています。大まかに以下のようなコードです。

public class Invoker {
    static private List<Context> contexts = new ArrayList<>();

    @BeforeClass
    public static void setup() throws Exception {
        セットアップ用のクラスからセットアップのメソッド実行
        contextsにChromeとFireFoxのドライバをadd
    }    

    @AfterClass
    public static void quit() throws Exception {
        ドライバのquit
    }

    @Test
    public void case1() {
        contexts.forEach(it -> {
            new シナリオのクラス().シナリオのメソッド(it);
        });
        contexts.forEach(it -> {
            new シナリオのクラス().シナリオのメソッド(it);
        });
    }

    @Ignore("unexecuted")
    @Test
    public void case1() {
        contexts.forEach(it -> {
            new シナリオのクラス().シナリオのメソッド(it);
        });
        contexts.forEach(it -> {
            new シナリオのクラス().シナリオのメソッド(it);
        });
    }
}

 きれいではないと思うのですが、実行したくないテストケースについて@Ignoreで明示的に行わないようにしています。JUnitの本来の使い方としては、src/main/java内のモジュールを切り出してテストするような用途だとは思っているのですが、書いているうちに混乱してきてしまっていて、ご助言を賜りたい次第です。情報不足でしたら、ご指摘ください。

[再追記]
argiusさんよりご回答いただいて1ヶ月超過しているので、根治/再実装はしておりませんが該当プロジェクトの修正の方向性をまとめます。

1. テスト内に書いているシナリオや起動クラスはメインに移動する。
2. @Ignoreで無視している部分は、起動時のオプションなどで走らせるシナリオのメソッドを変える等で解決する

現在はjarに固めずIDEから直接テストを起動するやり方で運用しておりとても楽ですが、構成を見直し適したものにしたいと思います。