OpenAI Agents APIにブラウザー操作、クラウド上でWebの作業を実行

OpenAIは9月29日、Agents APIにブラウザーを操作する「computer use」を追加した。computer useは、AIが画面を確認しながらWebサイトの操作を進める機能で、サイトのテスト、情報収集、Webアプリの利用に使える。

ブラウザーはOpenAIのクラウド上で動く。開発者側のアプリは作業を開始し、進捗を受け取り、初めてアクセスするサイトごとの許可やログインを処理する。画面の画像を進捗とともに受け取る設定も用意されている。

ログインはユーザーがチャットの外で情報を入力する方式で、現時点ではパスキーやQRコードによるログインには対応しない。ブラウザーを自前で運用する負担を減らしつつ、アクセス許可と利用者向けの画面はアプリ側で設計する構成となる。