AnthropicがClaude向けZoom Tool Cookbookを更新、高密度画像の読解精度を改善

Anthropicは、Claudeが高解像度画像の一部を拡大して読み直すZoom ToolのCookbookを更新した。大きな画像が縮小されて細部を読めない場合に、Claude自身が確認したい領域を指定し、元画像から切り出した拡大画像を受け取れる。

Cookbookは、画像の座標とClaudeが指定する座標を一致させる前処理、拡大画像を返すツール、ツール呼び出しを繰り返す処理を実装している。チャートだけでなく、密度の高い文書、画面のスクリーンショット、回路図、スキャンした帳票などへの応用も想定する。

100問の高密度チャートを使うChartographyベンチマークでは、Fable 5の正解率が29％から73％、Sonnet 5が13％から44％へ上昇した。一方、1問あたりの平均コストはFable 5で0.08ドルから0.95ドル、Sonnet 5で0.02ドルから0.64ドルに増えた。拡大のたびに会話と切り出した画像を再送するため、精度向上には追加のトークンが必要になる。

画像全体を一度だけ渡すのではなく、モデルが必要な細部を選んで再取得する設計は、視覚情報を扱うエージェントの道具の作り方を具体的に示している。精度とコストの差が数値で公開されており、利用場面に応じて拡大回数や対象領域を調整する判断材料にもなる。