Pyautoguiとopenpyxlでexcelを操作する（キーボードで３つのボタンを同時入力）

Question

■実現したい動作■

Pyautoguiとopenpyxlでexcelを自動操作させたいです。

行いたい操作は下記動作です。
excelにて、
・ctrl+shift+右ボタン同時押し
・ctrl+shift+下ボタン同時押し

上記操作で例えば10×10のセルを選択する。
（10×10のセル全てに文字などの情報が入力されている）

などの操作を行いたいです。

上記動作は動作ができる端末とできない端末があります。
次の「試した事」に違いの比較を行いました。（２月１５日）

動作できない端末でも同様の動作を実現させたいです。

■試したこと 2月15日修正■

１.バージョン確認を行いました。
PythonとPyAutoGUIのみバージョンアップしています。
しかし、正常に動作しない端末は複数選択ができない状態です。

確認個所 正常に動作しない端末　　　正常に動作する端末
Python 　　 　　 3.8.5（3.7.6)　　　　　　3.8.3
pip　　　　　　　20.2.4 　　　　　　　21.0.1
PyAutoGUI 　　　0.9.52（0.9.50）　　 　0.9.52
opencv-python 4.4.0 　　　　　　　4.4.0.46
端末のＯＳ　　　　win10 64bit win10 64bit
Excel　　　　　　　未確認　　　　　　　　　2019
※（ ）はバージョンアップ前

　　　
２．2通りのコードで試してみました。
いずれも正常に動作しない端末では、
選択したセルが動くだけの動作になります。
（複数セルの選択ができていない）

方法１

import pyautogui as pgui
import time

pgui.hotkey('ctrl','home') #A1セルに移動 

#####　方法１ ################################
pgui.keyDown('ctrl')
pgui.hotkey('shift','right') #同時押し
pgui.hotkey('shift','down') 
pgui.keyUp('ctrl')
##############################################

#####　方法２ ################################
pgui.keyDown('shiftright')
pgui.hotkey('ctrl', 'right')
pgui.hotkey('ctrl', 'down')
pgui.keyUp('shiftright')
################################################

■困っていること■

別のPCで動作させると、
選択しているセルは動きますが、セルの複数選択ができていません。
（右に10セル進んで、下に10セル進む。選択されているセルは一つのみ）

---

明日、バージョンUPで対応してみようと思いますが、
上記不具合がバージョン起因でない場合、
明日の対応時間が無駄になるため、事前に確認を取っておきたいです。

どなたか知見がある方がいらっしゃいましたら
ご教授の程よろしくお願い致します。

Comments

[Daregada]

Excelで、Ctrl+→キーやCtrl+↓キーは、シートの右端や下端までの移動になるので、「10x10のセルを選択する」という目的には合わないのでは?

[python01]

質問の情報が不足しておりました。

元々10×10のセル内に数値が入っていることを想定しております。
その状態で「Ctrl+Shift+→」と「Ctrl+Shift+↓」で
10x10のセルを選択する動作を行いたいです。

[Daregada]

ああ、了解しました。

Answer 1

numlockがONの状態だとshift+right(left)が正常に動作しないようです。

下記回答を参考にさせて頂きました。
https://teratail.com/questions/254519

正常動作端末でnumlockをONにすると、
複数セル選択ができない状態になりました。

おそらく動作不良端末もこれで解決できると思われます。

追記）本日、正常に動作しない端末で試したところ、
numlockがOFFで複数セル選択ができるようになりました。

Answer 2

Excelのシフトキーの扱いは特殊なようで、keyDown('shift')やhotkey('shift', 'right')などでは、シフトキーが押された扱いになりませんでした。

同じことで悩んでいた人が、StackOverflowにもいました。

Why keyDown(shift) function is not working for python pyautogui for Excel Automation - Stack Overflow

それに対する回答によれば、左シフトキー(shiftleft)と右シフトキー(shiftright)を両方押した状態にすると、PyAutoGuiでExcelのシフトキーを使ったキー操作(範囲選択など)を行なえるようです。
なんじゃそりゃって感じですが、実際に手元で実験したところ、左右のシフトキーを両方押した状態にすることで操作が行なえました。

以下は、A1セルを基点として、10x10の範囲を選択するためのコードです。
補足: データが記入されているか不明だったので→キーと↓キーを9回押すコードを書きましたが、10x10の範囲にだけデータが記入済みなら、コメント化してあるCtrl+→キーとCtrl+↓キーを押すコードを使ってください。

import pyautogui as pg

# pg.click(1, 1) # Excelのウィンドウを選択できる座標
pg.sleep(1)

pg.hotkey('ctrl', 'home') # シート左上にアクティブセルを移動

# ExcelでShiftキーを押した状態にするにはこれが必要
pg.keyDown('shiftleft')
pg.keyDown('shiftright')

# 現在のセルから9個右、9個下のセルまで順次移動して10x10のセルを選択
pg.press(['right', 'down'], presses=9)
# すでに10x10の範囲にデータが記入済みなら、↑をコメントにして↓を使えばOK
# pg.hotkey('ctrl', 'right')
# pg.hotkey('ctrl', 'down')

# ExcelでShiftキーを離した状態にするにはこれが必要
pg.keyUp('shiftright')
pg.keyUp('shiftleft')

Comments

[python01]

ご丁寧な回答ありがとうございます。

pg.hotkey('ctrl', 'home') でシート左上に移動できることも
知らなかったので、大変勉強になります。

今から手元のPCでご教授頂いた方法を試してみようと思います。

一つ懸念しているのが、
手元のPＣで正常に動作しても
別のＰＣだと正常に動作しないのでは？
という懸念があります。

（今回の下記コードがそうでした。質問の試した事と同じコードです。）

```Python
pgui.keyDown('ctrl')
pgui.hotkey('shift','right') #同時押し
pgui.hotkey('shift','down')
pgui.keyUp('ctrl')
```
なので、何か別の要因もあるのではと危惧しております。

[Daregada]

質問のコードが私のPCやStackOverflowの質問者のPCで動かなかったのと同様に、私のコードが別のPCで動かない可能性はありますよ。
そりゃ、「実際に動かして」確かめてみるしかない。動かなければ、「動かないPCで」原因を探ってください。
Excelのバージョンとか、OSのバージョンとか、PythonやPyAutoGuiのバージョンとか、原因はいろんなところにあるでしょう。
あなたの危惧なんですから、あなたが解決してください。

[python01]

手元のPCで'shiftleft'
を用いても正常に動作しました。

明日この手法でも試してみます。
ありがとうございます。

元々の質問の意図は
■困っていること■に
記入させて頂いた通り
「別のPCで動かない原因がわからない」です。

ご教授頂いた内容で明日試してみます。

・手法の変更（shiftrightを用いる)
・Pythonのバージョンを一致させる
・PyAutoGuiバージョンを一致させる　←これは知らなかった
・OSのバージョン　←win10なので同じ