235BパラメータモデルがUI自動化の状況を一変させた
- ScreenSpot-Proベンチマークで78.5%を達成し、SOTAを達成
- エージェント的ローカリゼーションにより10-20%の性能向上
- 4K高解像度インターフェースでも小さなUI要素を正確に検出
何が起こったのか？
H CompanyがUI Localization（ユーザーインターフェース要素の位置識別）専門モデルHolo2-235B-A22Bを公開した。[Hugging Face] 235Bパラメータ規模のこのモデルは、スクリーンショットからボタン、テキストフィールド、リンクなどのUI要素の正確な位置を検出する。
核心はエージェント的ローカリゼーション（Agentic Localization）技術だ。一度に答えを出すのではなく、複数の段階にわたって予測を精巧化する。おかげで4K高解像度画面の小さなUI要素も正確に特定する。[Hugging Face]
なぜ重要なのか？
GUIエージェント分野が熱い。Claude Computer Use、OpenAI Operatorなど、ビッグテックが競ってUI自動化機能を発表している。ところが、小さなスタートアップH Companyがこの分野のベンチマーク1位を獲得した。
個人的に注目しているのはエージェント的な方式だ。既存のモデルが一度に位置を合わせようとして失敗することが多かったが、何度も試行錯誤して精巧化するアプローチが効果的だった。10-20%の性能向上という数値がこれを証明する。
正直、235Bパラメータはかなり重い方だ。実際のプロダクション環境でどれだけ速く動作するかは見てみなければならない。
今後どうなるか？
GUIエージェントの競争が本格化し、UI Localizationの精度が重要な差別化要因になる見込みだ。H Companyモデルがオープンソースで公開されただけに、他のエージェントフレームワークがこれを統合する可能性が高い。
RPA（ロボティック・プロセス・オートメーション）市場にも影響を与える可能性がある。既存のRPAツールがルールベースだったとすれば、今後はビジョンベースのUI理解が標準になる可能性がある。
よくある質問 (FAQ)
Q: UI Localizationとは正確には何か？
A: スクリーンショットを見て特定のUI要素（ボタン、入力欄など）の正確な座標を検出する技術だ。簡単に言えば、AIが画面を見てどこをクリックすべきかを知っているということだ。GUI自動化エージェントの核心技術だ。
Q: 既存のモデルと何が違うのか？
A: エージェント的ローカリゼーションが核心だ。一度に合わせようとせず、複数の段階にわたって精巧化する。まるで人が画面をざっと見て目標を探していく方式と似ている。この方式で10-20%の性能向上を達成した。
Q: モデルを直接試してみることはできるか？
A: Hugging Faceに研究用として公開されている。ただし、235Bパラメータモデルなので、相当なGPUリソースが必要だ。実際のプロダクション適用よりは研究やベンチマーク目的に適している。
この記事が役に立ったなら、AI Digesterを購読してください。
参考資料
- Introducing Holo2-235B-A22B: State-of-the-Art UI Localization – Hugging Face (2026-02-03)