各社のAIがリリース後にどれだけ性能変化したかがグラフでわかるベンチマーク「Nerf Bench」

Nerf Benchはブログにてモデルの性能を評価する仕組みについて解説しています。

How Nerf Bench Detects When AI Models Get Nerfed
https://www.bridgebench.ai/blog/how-nerf-bench-works

Nerf BenchはAIモデルの性能を「パワー」という単一の数値で評価しており、パワーの値の大小によってモデルがタスクをどれだけうまくこなせるかを示します。パワーの算出には以下の3つの要素が評価されます。

・パフォーマンス(Performance)：モデルがタスクをどれだけうまく完了できるか
・トークン(Tokens)：同じタスクを完了するために使用するトークン数
・コスト(Cost)：タスクの実行にかかる費用

モデルが同じタスクを完了するために多くのトークンを使用したりコストが高くなったりした場合、たとえパフォーマンスが同じであってもパワーは低下したとみなされます。各要素は幅広いタスクやカテゴリで集計され、モデルのローンチデーのパワーを100％として基準にした相対値として示されます。例えば、あるモデルの現在のパワーが85％だった場合、モデルはローンチ時の性能の85％しか性能を発揮できていないことを意味します。逆に115%であればローンチ時よりも性能が向上していることになります。

Nerf Benchでは正規分布における分散の概念に基づき、モデルのパワーがローンチ時の90%から110%の範囲内であれば「通常の変動」とみなします。通常の変動の範囲を下回る、もしくは上回る結果が2回連続で検出された場合、モデルのパフォーマンスに実際の変化があったと判断します。

Nerf Benchはモデルがローンチされる際にベンチマークテストを実施します。

最初のテスト実行によってモデルのローンチ時の性能、つまり100%の性能を決定するためです。

ローンチ後、同じモデルに何度も繰り返しベンチマークテストを実行し、得られた各テスト結果はローンチ時のモデル性能と比較されます。90%から110%の間のモデルは安定した性能を維持しています。90%を下回るモデルは性能が低下しており、110%を超えるモデルはローンチ時よりも性能が向上しています。

単一のタスクの結果が低下しただけでは判断せず、広範囲にわたるパフォーマンスの低下がみられた場合に初めてモデルの性能劣化として検出されます。

なお、具体的なタスク・テスト内容・テスト結果は非公開とされています。結果の信頼性を保ち、ベンチマーク不正を抑制するためとのことです。