GitHub Copilot、連携機能のないアプリでも画面操作を任せられるように

画面操作が必要なところまで作業をつなぐ

この機能は、画面を通して操作する「computer use」です。公式発表は、Safariで経費報告の手続きを進める例を示しています。通知をまとめたり、プレゼンテーションの内容を更新したりする用途も挙げています。

たとえば、別アプリで読んだ情報を、連携機能のない入力画面へ移す場面が対象になります。Copilotは画面の情報を読み、入力やスクロールを組み合わせて進めます。一方、APIや専用ツールで直接処理できる作業は、そちらの方が情報が整理され、結果を予測しやすいと公式資料は説明しています。

「常に許可」は同じ端末のCLIにも効く

機能は既定で無効です。公式のCLI利用手順は全Copilotプランを対象とし、組織からCLIを利用する場合は組織のCopilot CLIポリシーを有効にする必要があるとしています。CLIでは /computer on、appではSettingsのComputer Useから有効にできます。管理者が禁止している場合、手元で有効にしても組織の方針を上書きできません。macOSではAccessibilityとScreen RecordingのOS権限も必要です。

アプリ操作時の確認は、利用しているCLIまたはappのツール権限設定に従います。確認が出た場合は、そのセッションだけ許可する、以後も許可する、拒否する、を選べます。

アプリに対する「Always allow」を保存すると、同じ端末のCopilot CLIとappの両方へ適用されます。appから保存済みの許可を削除しても、すでに実行中のセッションへ与えたアクセスは取り消されません。動作を止める場合は、CLIではEscを2回、appではStopまたはEscで中断できます。

入力先と結果は人が見届ける

画面の配置やウィンドウの状態が変わると、別のボタンを押したり、違う欄へ入力したりする可能性があります。操作を繰り返すこともあります。依頼には、目的、使うアプリ、守る条件を具体的に伝えるとよいと公式発表は案内しています。

個人情報や重要な変更を扱う画面では、見せる内容と結果を人が判断する必要があります。

詳しい許可の扱いと制約は、公式資料「About computer use in GitHub Copilot」に基づきます。CLIの対応条件と操作は公式の利用手順も確認しました。公式資料の照合に基づく解説で、実機検証は未実施です。公開プレビューのため、利用条件や挙動は今後変わる可能性があります。