arXiv公開：自由エネルギーで可塑性を制御するオンライン運動学習（FEGP）

Free-Energy-Gated Plasticity for Real-Time Online Motor Learning in Physical Human-Robot Interaction をarXivで公開しました。Jun Tani教授との共著です。

完全にオンラインな身体的学習では、相互作用を続けながら新しい振る舞いを獲得しつつ、以前に学習したダイナミクスを壊さずに保持する必要があります。しかし、常に一定の学習率で重みを更新し続けると、直近の観測に引きずられて過去の動作が失われてしまいます。

本研究では、予測符号化型の変分RNNであるPV-RNNを、潜在変数の推論だけでなくシナプス重みの逐次適応まで行えるように拡張しました。その上で、変分自由エネルギーの窓平均に応じて実効学習率を制御する**Free-Energy-Gated Plasticity（FEGP）**を提案しています。モデルと環境のズレが大きいとき、すなわち「今まさに知らないことが起きている」ときにのみ可塑性を開き、既知の状況ではゲートを閉じる、という考え方です。ゲートの頻繁な切り替わりを抑えるため、二つの閾値によるヒステリシスも導入しています。

実験では、双腕ヒューマノイドロボットToroboを用い、両腕のエンドエフェクタ姿勢を予測するモデルを、ランダム初期化の状態から実時間で学習させました。事前学習・リプレイバッファ・タスク境界を知らせる信号は一切使っていません。人が直接ロボットの腕を動かすkinaesthetic teachingによって3種類の周期運動を教示したところ、セッションの終わりには自律生成の中に3つのパターンすべてが現れました。

さらに、10本の教示ストリーム × 5通りの初期化という条件で統制実験を行いました。FEGPは、レパートリーの網羅率と、観測窓から消えた後の動作の保持率の両方を大きく改善しました。重要なのは、ゲートの時間平均と同じ値に固定した定数学習率でも、同じゲイン列を時間構造だけ壊して再生した条件でも、この改善が再現されなかったことです。つまり効いているのは可塑性の平均的な大きさや分布ではなく、モデルと環境のズレに対して可塑性をいつ割り当てるかという時間的な配置である、というのが本研究の主張です。

一方で、レパートリーの広さと引き換えに個々のサイクルの軌道精度はわずかに落ちます。ただしその差は手先位置にして数ミリ程度で、教示そのもののばらつきに比べれば小さい範囲に収まっています。今回扱ったのは3つの周期パターンで、より大きなレパートリーや長時間の相互作用への拡張は今後の課題です。

FEGP論文はこちら