キーボードから入力されたキーをアプリケーションが認識するまでの流れ

Question

確認のために質問させていただきます。

キーを押されてから、アプリケーションがそれを認識するまでの流れは、以下で間違いないでしょうか。

1. 入力されたキーがメモリに書き込まれる（このとき、CPUもPICも一切介入しない）
2. メモリへの書き込みが終わったことをPICに通知する
3. PICがCPUに、キーボードからの割り込みがあったことを通知する
4. 割り込みハンドラが呼ばれる
5. IN命令を実行して、入力されたキーをメモリから読み取り、共有メモリにコピーする
6. 各アプリケーションが登録したキー押下時のイベントに関連付けられたイベントハンドラが呼ばれる

上記手順で間違いないでしょうか。上記手順で幾つかの疑問がございます。

・入力されたキーがメモリに書き込まれる際に、CPUもPICも一切介入しないのはおかしい
・IN命令は、メモリ上のデータをCPUのレジスタにコピーする命令という認識であっているか

ハードウェアに近い部分であるため、アプリケーションの開発しか行っていない私にはうまくイメージできないため、質問させていただきました。
それでは、よろしくお願いいたします。

Comments

[退会済みユーザー]

PICとCPUの、役割分担はどうなっていますか？
PICが入出力を監視して、CPUはそれを受け取って何らかの演算をするような感じでしょうか？

Answer 1

こんにちは。

その流れはハードウェアとOSにより大きく異なります。
書かれている流れが当てはまるハードウェアとOSが存在するかというと、少なくともレアと思います。
PICがPICマイコンという意味でしたら、量産品のキーボードでPICマイコンを使っているものは少ないのではないでしょうか。

もし、普通のWindows PCでUSBキーボードの場合、キーボードにはUSBマイコンが搭載されていて、それがキーボード・マトリクスをスキャンし、変化があったらUSBのインタラプト通信で変化情報をコンピュータへ伝達します。(確か約10mSecに1回、最大6つの変化を伝達できるプロトコルになっていたと思います。)

PC側はハードウェアでそれを受信して、USBデバイス・ドライバ・スタックが処理を行います。
それを恐らく何かのサービス・プロセスが受け取り、その時Foregroundに居るアプリへWM_KEYDOWN/WM_KEYUP等のメッセージにて伝達している筈です。(多少違っているかも)

・入力されたキーがメモリに書き込まれる際に、CPUもPICも一切介入しないのはおかしい

直接メモリに書き込まれる仕組みとしてDMA(Direct Memory Access)がありますが、キー入力にDMAを使うケースはまずないと思います。

・IN命令は、メモリ上のデータをCPUのレジスタにコピーする命令という認識であっているか

間違ってます。メモリ上のデータをCPUレジスタへコピーするのは、ロード命令やムーブ命令と呼ばれる場合が多いです。少なくともI/Oアクセス用の命令を使うことはないでしょう。

上記の誤りは、「入力されたキーがメモリに書き込まれる」部分と思います。
この時点では、キーボード制御デバイスがそのデータを保持している筈です。
ご覧になった説明は、この保持しているハードウェアのことを「メモリ」と呼んでいるかもしれません。
しかし、それはPCの主記憶の意味のメモリではありません。

Comments

[anaprestoo]

キーボードで入力したキー情報は、その時点ではまだキーボード制御デバイスが保持している状態であり、割り込みハンドラ内でOUT命令が実行されることで初めて、キーボード制御デバイスからCPUのレジスタにコピーされることがわかりました。
勘違いに気付かせていただき、ありがとうございました。

Answer 2

windowsではデバイスマネージャーを開くとデバイスドライバというものがありますよね。
キーボードではマクロキーというキーボードごとの独自キーを設定する機能などがありますが、デバイスドライバが通常のキーとそれらをまとめて管理します。

USBキーボードなら
0. USBポートに差し込む
0. BIOSがキーボードを認識し電源を供給＆情報(種別やMACアドレスなど)を取得、OSに情報を渡す
0. OSが情報に応じてデバイスドライバを選択(なければインストール)する
0. デバイスドライバとキーボード間で該当するUSBポートを用いたシリアルポート通信を開始する
0. デバイスドライバがキーボードからの入力を認識したら、OSにイベントを通知する
0. OSがフォーカスのあるウインドウにキーボードイベントを送信する

イベントの情報の流れは
キーボード→(BIOS→OS→)デバイスドライバ→OS→ソフトウェア
この矢印間の通信は独自の方式で行ってもまたっく問題はないはず。
つまり、OSから「A」というキーボードイベントが来てもソフトウェア側で「B」として認識できるし、キーボードから「1」のデータが送られてきてもデバイスドライバが「ブラウザを開く」というイベントとしてOSに通知することができます。

OSがソフトウェアに通知する前のネイティブなキーボードイベントを取得することも可能ですが、キーロガーというマルウェア対策でウイルスソフトが敏感に反応したりとなかなか難しいところがあります。

質問者さんの考えだとアプリケーションが直接受け取っていますが、そうすると

• 独自のキーが使えない
• マクロキーが使えない(アプリケーションごとに設定することになる)
• すべてのアプリケーションがキーボードの方式ごとにイベントを受け取るための正しい機能を実装する必要がある(USB、Bluetooth、内蔵キーボードとのそれぞれの通信)
• ネイティブなキーボードイベントを取得できない

ノートPCなど内蔵型のキーボードやBluetoothキーボードも基本的にデバイスドライバを利用しているので大差はないかと思われます。

Comments

[anaprestoo]

デバイス⇔アプリケーション間にはデバイスドライバとOSが存在し、デバイスの持つ情報がそのままアプリケーションに渡されるわけではないことが分かりました。
回答ありがとうございました。

Answer 3

検索して調べました。こちらがわかりやすいと思います。
感覚的に理解しやすいです。
http://pc-pier.com/blog/2016/02/05/keyboard/

それから、すべての処理は、CPUを介在すると思います。

Comments

[AkihikoSato]

皆さん既に回答なさっていたのですね。
DMA(Direct Memory Access)ですが、昔、ミニコンピュータでこの方式を使いました。
データ伝送装置からくるシリアル信号（アドレス＋データ＋割り込み）を直接メモリーに書き込みます。
その割り込み信号のタイミングで、直接ハードウェアがメモリーに書き込みます。DMAを使うのは、コンピュータの負荷を軽くするためです。
昔は、業務用といえども、CPUの処理能力が低かったためです。
メモリー上のデータをアプリケーションが読みに行くという使い方です。