JPanelでkey入力を取得したい

やりたいこと

javaのswingのJPanelにkey入力をしてそれを取得したいです
2つのJPanelでできていて
1つの時にはうまくいったのですが2つ目を増やすと(startclassがなければ取得できます)うまくいきません
どのようにすれば取得できるでしょうか？
コンパイルは通ります
よろしくお願いします

ソースコード

public class Main{
    static MyFrame mf;
    public static void  main(String[]args){
        System.out.println("start");
        mf=new MyFrame();
        mf.setVisible(true);
    }
    void set(int n){
        mf.addpanel(n);
    }
}

public class MyFrame extends JFrame{
    Start s;
    MyPanel p;
    MyFrame(){
        setBackground(Color.WHITE);
        setForeground(Color.BLUE);
        setDefaultCloseOperation(EXIT_ON_CLOSE);
        addpanel(0);
        setSize(480,270);
        setLocationRelativeTo(null);
        repaint();
    }
    void addpanel(int n){
        switch(n){
        case 0:
            s=new Start();
            add(s);
            break;
        case 1:
            remove(s);
            p=new MyPanel();
            add(p);
            validate();
            break;
        }
    }
}


public class MyPanel extends JPanel implements KeyListener{
    JLabel l,l2;
    MyPanel(){
        setFocusable(true); //パネルでキーを受付ける
        addKeyListener(this);
        l=new JLabel();
        l2=new JLabel();
        l.setText("start");
        add(l);
        add(l2);
    }
    public void keyTyped(KeyEvent e) {
        char key = e.getKeyChar();
        l.setText(String.valueOf(key));
        repaint();
    }
    public void keyPressed(KeyEvent e) {
    }

    public void keyReleased(KeyEvent e) {
        int keycode=e.getKeyCode();
        l2.setText(String.valueOf(keycode));
        repaint();
    }
}


public class Start extends JPanel implements ActionListener{
    Start(){
        System.out.println("startwindow");
        setLayout(new BoxLayout(this, BoxLayout.Y_AXIS));
        JPanel p=new JPanel();
        add(p);
        JButton sb=new JButton("start");
        p.add(sb);
        sb.addActionListener(this);
        sb.setActionCommand("sb");
    }

    @Override
    public void actionPerformed(ActionEvent e) {
        Main m=new Main();
        if(e.getActionCommand()=="sb"){
            removeAll();
            m.set(1);
        }
    }
}

追記

最小化して開くと取得できますが最大化では無理でした・・・