OpenAI、Macの前面アプリをChatGPT WorkやCodexへ渡す「Appshots」を公開

OpenAIは、Macで最前面に表示しているアプリの内容をChatGPT WorkやCodexへ渡す「Appshots」を公開した。両方のCommandキー、または設定したショートカットを押すと、開いている画面を会話の文脈として追加し、その内容を基に要約や作業を依頼できる。

Appshotsが取得するのは最前面のウィンドウだけで、表示中の画像に加え、アプリがアクセシビリティ機能を通じて提供するテキストも含まれる。APIリファレンスを開いて機能追加を頼む、Slackのスレッドを要約する、フォームを確認して入力するといった利用例が示されている。macOS版ChatGPTデスクトップアプリで利用でき、画像取得には画面収録、テキスト取得にはアクセシビリティの権限が必要になる。

追加したAppshotsは通常の添付ファイルと同じように扱われ、セッションファイルへローカル保存される。画面の説明やコピー＆ペーストを繰り返さずに作業対象を共有できる一方、画像と取得可能なテキストがChatGPTへ渡るため、機密情報を表示したウィンドウでは利用範囲を確認する必要がある。