本日より、Lovableでのビルドが品質を落とすことなく高速になります。Opus 5.5がLovableで利用可能になりました。Opus 5と同じ結果を出しながら、完了までのステップ数を3分の1から半分少なく抑えます。そのため、長い編集での待ち時間が減り、リリースする成果物の品質にも妥協はありません。
その理由は、Opus 5.5がコンテキストを一度でまとめて収集し、より少なく、より完全な編集を行い、自分の作業を確認するために不必要に引き返さないためです。
検証の進め方も、より規律正しくなっています。当社の検証規律ベンチマークでは、モデルがブラウザを開き直したり同じチェックを繰り返したりせず、タスクに必要な分だけ変更を確認してから作業を終えられるかを測定します。Opus 5.5は、すべてのエフォートレベルでOpus 5を上回るスコアを記録し、しかもステップ数はおよそ半分でした。
この記事では、ベンチマークの方法、Opus 5.5が優れている点、そしてそれがビルドにとって何を意味するのかを詳しく解説します。
新しいモデルの評価方法
私たちは候補となるすべてのモデルを、Lovable社内のベンチマークスイートで評価しています。このスイートは、以下の観点でエンドツーエンドのアプリ構築性能を測定します：
- ゼロからの構築：Lovableでゼロから構築し、ユーザーが望む結果を実現すること
- 既存コードベースの修正と改善：稼働中のアプリに戻り、既存の部分を壊すことなく機能を追加したり、バグを修正したり、画面を作り直したりすること（Lovableでビルダーが行う作業の中で最も大きな割合を占めるカテゴリです）
- 検証規律：変更をタスクに必要な分だけ確認してそれ以上は行わず、過剰な検証や同じチェックの繰り返し、失敗した試行のループに陥ることなく、予算内で作業を完了すること
Opus 5.5は、同等の推論エフォートレベル（低・中・高）で、同じコード・同じ評価者を使ってOpus 5と比較評価しました。各タスクは少なくとも3回ずつ実行しています。
検証規律では、Opus 5.5がOpus 5を4〜6%上回りました。ゼロからの構築と反復的なコード修正では、両モデルのスコアは同等でした。以下の表は、各タスクにかかった個々のステップ数と、その過程で処理したトークン数の観点から、効率がどこで向上しているかを示しています。
タスクあたりのステップ数の差分：Opus 5.5とOpus 5の比較
| ベンチマーク / エフォートレベル | 低 | 中 | 高 |
|---|---|---|---|
| ゼロからの構築 | -48% | -26% | -26% |
| 反復的なコード修正 | -47% | -34% | -34% |
| 検証規律 | -57% | -46% | -42% |
タスクあたりの処理入力トークン数の差分：Opus 5.5とOpus 5の比較
| ベンチマーク / エフォートレベル | 低 | 中 | 高 |
|---|---|---|---|
| ゼロからの構築 | -46% | -21% | -26% |
| 反復的なコード修正 | -36% | -27% | -29% |
| 検証規律 | -59% | -46% | -41% |
両方の表のすべての差は、95%信頼水準で統計的に有意です。入力トークンとは、モデルがタスク全体を通じて読み込み、読み直すコンテキストのことです。そのため、入力トークンが少ないことは、コンテキストを一度で収集していることを直接反映しています。出力トークンは、反復的なコード修正と検証規律では37〜64%減少し、アプリそのものを生成する作業であるゼロからの構築では、Opus 5とほぼ同水準でした。
内部で何が変わったのか
Opus 5.5がLovableのワークロードを処理する方法には、3つの際立った特徴があります：
- コンテキストを一度で収集する。Opus 5.5は必要な情報を1回のパスで集め、ファイル一覧の取得、検索、読み込みを1つのコマンドにまとめて実行します。また、編集の合間にファイルを再確認しに戻ることもありません。既存のコードベースでは、これだけで削減できたステップの大部分を占めています。
- より少なく、より完全な編集。編集して読み直し、また編集するのではなく、1回のラウンドで複数のファイルを修正します。変更もより簡潔で、同じ結果に対して差分が小さく、変更するファイルも少なくなっています。
- 必要な分だけ検証する。Opus 5は同じチェックの再実行に十数ターンを費やすこともありましたが、Opus 5.5は変更に必要な分だけ確認し、はるかに少ない出力トークンで作業を完了します。検証規律が、Opus 5.5の性能が上回っている唯一のベンチマークであるのはこのためです。
ビルダーにとっての意味
Opus 5.5は、Opus 5の品質をわずかな時間で提供するために、Lovableが現在活用しているモデルの1つです。この向上は手抜きによるものではなく、その動作方法によるものです。コンテキストは1回のパスで収集し、編集はより少なく簡潔に、そして不必要な再確認に費やす時間を減らしています。
Lovableのビルダーにとって、Opus 5.5は、ゼロから始める場合でも稼働中のアプリに取り組む場合でも、同じ品質でより速くビルドできることを意味します。コンテキストを一度で収集し、より少なく、より完全な編集を行い、再試行で行き詰まることもありません。完了までのステップ数は3分の1から半分少なくなり、その過程で使用するトークンも大幅に減ります。
— Fabian Hedin（Lovable CTO兼共同創業者）
