Lovableは早期アクセスでGPT-5.5のテストを進めてきました。社内評価によると、GPT-5.5はビルダーの行き詰まりを打開する能力において、これまでテストした中で最も高性能なモデルです。ビルドセッションを停滞させがちな複雑なタスクでは、GPT-5.4を大きく上回っています。
この記事では、ベンチマークの方法、GPT-5.5が優れている点、そして本番環境で見えてきたことを解説します。
新しいモデルの評価方法
Lovableでは、すべての候補モデルを社内のベンチマークスイートで評価しています。このスイートは、アプリ構築のパフォーマンスをエンドツーエンドで、次の観点から測定します：
- 本番環境への対応力：セキュリティ、信頼性、そしてシニアエンジニアがコードレビューで求めるようなエッジケースへの対応
- エージェント型タスクの完遂：ツールの使用、ファイル編集、反復的なデバッグを伴う複数ステップのリクエスト
- 一般的なビルドシナリオ：認証フロー、リアルタイム同期、データベース連携、複数ファイルの編集、APIの接続
- 最も難しいタスクでのユーザーの行き詰まり解消：ビルダーの手が止まってしまう具体的な場面。たとえば、大がかりなUIの仕上げ、長引くデバッグのループ、バックエンドの設定問題、そして単に実行するだけでなく、モデル自身が進め方を提案する必要がある複雑なリクエストなど
GPT-5.5とGPT-5.4の比較
| ベンチマーク | GPT-5.4 | GPT-5.5 | 差分 |
|---|---|---|---|
| 最難関タスクのベンチマーク （シニアエンジニア水準） |
36.9% | 41.6% | +12.5% |
| リクエストあたりのツール呼び出し数 | 11.74 | 9.03 | -23.1% |
| 高いユーザー成功率 | 27.36% | 30.62% | +11.9% |
| 行き詰まったユーザーメッセージの割合（%） | 3.086% | 2.780% | −9.9% |
内部で何が変わったのか
LovableのワークロードにおけるGPT-5.5の処理には、際立った点が3つあります：
- 重要度の高いリクエストでより深く推論。最も難しいベンチマークで、GPT-5.5は同じコストでGPT-5.4を12.5%上回りました。影響をより慎重に検討し、シニアエンジニアが最初のレビューで承認するレベルに近い出力を生成します。
- より無駄のないツール使用。平均で、リクエストあたりのツール呼び出しが23.1%、メッセージあたりの出力トークンが33%少なくなっています。実際には、中間ステップが減り、軌道修正が少なくなり、より的確な編集が行われます。その結果、日常的なタスクではGPT-5.4よりも約15%コスト効率が高くなっています。
- 行き詰まりからの脱出力が向上。GPT-5.5は、ユーザーの妨げとなっている複雑なタスクを解決できる確率が、全体で9.9%高くなっています。明確な進め方が見えない場面でも、強力な推論によって問題に対する斬新な解決策を生み出す様子が確認されています。
ビルダーにとっての意味
GPT-5.5は、ビルダーが行き詰まったときに頼るべきモデルです。どうしてもうまくいかないUIの修正、なかなか消えないバグ、気づかないうちにアプリを壊しているバックエンドの設定。GPT-5.5なら、こうした問題をはるかに少ないやり取りで、より高い成功率と、セッションあたりより低いコストで解決できます。
ビルダーが求めているのは、終わりのない繰り返しではなく、途切れることのない前進です。GPT-5.5は、認証フローやリアルタイム同期のような複雑なタスクで多くの人がぶつかる壁を、はるかに少ないやり取りで突破します。作業が難しくなるほど真価を発揮し、手ごわいタスクもずっと少ないやり取りでこなしてくれます。
— Fabian Hedin、Lovable CTO兼共同創業者。
近日中に、Lovableのビルダーの皆さまへ提供を開始する予定です。
