arXiv公開：単軸の頑健性評価から複合条件の頑健性は予測できるのか（LIBERO-CTRL）

Beyond Single-Axis Testing: Paired Evaluation of Compound Robustness in Vision-Language-Action Policies をarXivで公開しました。ソニーCSLの笠原俊一さんとの共著です。

Vision-Language-Action（VLA）方策の頑健性は、通常「摂動を一度に一つだけ加える」形で評価されます。これは個々の分布シフトに対する感度を診断する手段としては有用です。しかし実世界での運用では、複数のシフトが同時に起こりえます。そのとき、個別に測った頑健性がどのように合成されるのかは分かっていません。本研究が立てる問いはシンプルで、複合条件での頑健性は、単軸の評価から推定できるのかです。

そこで提案するのが、LIBERO-CTRLという6軸のベンチマークです。最大の特徴は、各初期状態を、複数の単軸条件と、それらを同時に課した条件とでペアにして評価する設計にあります。これにより、集計された成功率では区別できない2種類の逆向きの結果変化が見えるようになります。

一つはemergent failures、すなわち単軸のロールアウトはすべて成功するのに、同時条件のロールアウトは失敗するケースです。もう一つはcompensated successes、少なくとも一つの単軸ロールアウトが失敗するのに、同時条件では成功してしまうケースです。前者は複合条件の成功率を下げ、後者は上げるため、両者は打ち消し合います。その結果、個々の結果が大きく入れ替わっていても、集計上は単軸の測定と整合しているように見えてしまうのです。

実際、この相殺はかなりの程度起こります。2つの遷移率の差が統計的にゼロと区別できない場合ですら、ペアにした初期状態のうち最大29.0%で結果が入れ替わっていました。6つの方策と3段階の摂動強度にわたって調べたところ、最も影響の大きい条件ではこの結果変化が34.5%に達しています。2つの遷移の相対的な起こりやすさは方策や強度によって変わる一方、確率的な方策を独立に再評価しても遷移率自体は同程度に保たれました。つまりこれは単なる実行ごとのノイズではありません。

結論として、複合条件での頑健性を、集計された単軸の成功率だけから特徴づけることはできません。同時に加わる摂動が振る舞いをどう変えるのかを捉えるには、初期状態をそろえたインスタンス単位の評価が必要になります。