ロボット強化学習による制御方策

なぜロボット制御に強化学習を使うのか

多関節マニピュレータや脚型ロボットの制御則は、動力学が非線形かつ接触を含むため、モデルベースで解析的に設計しようとすると急速に手に負えなくなります。動力学モデルが正確に書ける範囲では計算トルク法のような手法が有効ですが、柔らかい物体の操作や不整地歩行のように接触が支配的な問題では、望ましい制御則を人が閉形式で書き下すのが困難です。強化学習（Reinforcement Learning, RL）は、この制御則そのものを「報酬を最大化する方策」として試行錯誤から学習させるアプローチであり、モデル化しきれない領域で威力を発揮します。

横にスクロール

ロボット制御が一般的なRLと決定的に異なるのは、行動空間が連続である点です。関節トルクや目標角速度は実数ベクトルであり、離散的な行動選択（上・下・左・右のような有限集合）を前提とするDQNのような手法はそのままでは使えません。連続行動を扱うために、ロボット領域では方策勾配系と最大エントロピー系という2つの系統が主力になります。この記事では、シミュレータと実機の橋渡しを扱うSim-to-Real転移とは切り離し、学習アルゴリズムそのものの原理に焦点を当てます。

方策をどう表現し、どう更新するか

RLの目的は、状態 s を受け取り行動 a を出力する方策 π(a|s) を、累積報酬（リターン）の期待値が最大になるように調整することです。連続制御では方策をニューラルネットワークで表現し、その出力を確率分布のパラメータ（多くはガウス分布の平均と分散）として解釈します。つまり方策は決定的な写像ではなく、状態ごとに行動の分布を返し、そこからサンプリングして実際の行動を決めます。この確率性が探索の源泉になります。

方策の良し悪しを測るのが価値関数です。状態価値 V(s) はその状態から方策に従った場合の期待リターン、行動価値 Q(s,a) は状態 s で行動 a を取った後の期待リターンを表します。両者の差 A(s,a) = Q(s,a) - V(s) をアドバンテージと呼び、「その行動が平均よりどれだけ良かったか」を意味します。方策勾配法はこのアドバンテージを重みにして、良かった行動の確率を上げ、悪かった行動の確率を下げる方向にネットワークを更新します。

PPO：安定した方策勾配の標準

PPO（Proximal Policy Optimization）は、方策勾配法の中で最も広く使われる手法です。素朴な方策勾配は、一度の更新で方策が大きく変わりすぎると性能が崩壊する（更新前のデータで大きなステップを踏むと、そのデータが新しい方策の分布を代表しなくなる）という不安定性を抱えます。PPOはこれを、方策の更新前後の比を一定範囲にクリップすることで防ぎます。

PPO のクリップ目的関数（概念）:

  r(θ) = π_new(a|s) / π_old(a|s)      # 方策の更新前後の比
  目的 = min( r(θ)·A ,  clip(r(θ), 1-ε, 1+ε)·A )

  A     : アドバンテージ推定値
  ε     : クリップ幅（例 0.2）
  意図  : r が 1±ε を超えて動く更新には報酬を与えない
         → 1回の更新で方策が離れすぎるのを抑制

クリップにより、アドバンテージが正（良い行動）でも比が 1+ε を超えたら目的関数はそれ以上増えず、方策を過度に動かすインセンティブが消えます。この単純な仕組みで、信頼領域を陽に計算する複雑な手法（TRPO）とほぼ同等の安定性を、はるかに実装しやすい形で実現したのがPPOの功績です。実務上、PPOは大量の並列環境（数百〜数千のシミュレータインスタンス）で同時にロールアウトを集めて1バッチにまとめる使い方が前提で、GPU上で数千体を並列に走らせる歩行学習などで標準的な選択肢になっています。

SAC：サンプル効率と探索を両立する

SAC（Soft Actor-Critic）は、オフポリシーかつ連続行動向けの代表的手法で、PPOと対照的な設計思想を持ちます。核心は最大エントロピー強化学習で、通常のリターン最大化に加えて方策のエントロピー（行動のばらつき）も最大化する目的を採ります。

SAC が最大化する目的（概念）:

  J = Σ E[ 報酬 + α·H(π(·|s)) ]

  H(π(·|s)) : 状態 s での方策のエントロピー（行動の多様性）
  α         : 温度パラメータ（探索と活用のバランス）
  意図      : 報酬が同等なら、より多様な行動を残す方策を好む
             → 早すぎる収束を防ぎ、探索を持続させる

エントロピー項を報酬に組み込むことで、方策は「高リターンを得つつも、できるだけ選択肢を狭めない」ように学習します。これは局所解への早期収束を防ぎ、探索を自然に持続させる効果を持ちます。温度パラメータ α は探索と活用の比重を決めますが、SACではこれを固定せず、目標エントロピーを満たすよう自動調整する実装が一般的です。

SACはオフポリシーなのでリプレイバッファに貯めた過去データを何度も再利用でき、同じ性能に到達するのに必要な環境ステップ数がPPOより桁で少なくなることが多いです。この性質は、1ステップの収集がシミュレータより桁違いに高コストな実機学習で決定的に重要になります。一方で、オフポリシー学習は価値関数（Qネットワーク）の過大評価や学習の不安定化を招きやすく、SACはこれを2つのQネットワークの小さい方を使う（clipped double-Q）などの工夫で緩和しています。

報酬整形：学習の質を決める設計工程

アルゴリズムの選択以上に、実務で方策の質を左右するのが報酬整形（reward shaping）です。「タスクを達成したら+1、それ以外は0」という疎な報酬（sparse reward）は定義は正しいものの、達成が偶然起きるまで学習信号がゼロのままで、複雑なタスクでは事実上学習が進みません。そこで、目標への接近度や姿勢の良さといった中間的な指標に応じて連続的な報酬を与え、学習を導きます。

ただし報酬を安易に足し込むと報酬ハッキング（reward hacking）が起きます。設計者の意図とずれた抜け道で報酬だけを稼ぐ挙動（例えば「前進で加点」としたら、タスクを無視して前方へ倒れ込むように加速するなど）を方策が発見してしまう現象です。整形報酬が最適方策そのものを変えてしまうことが根本原因です。

サンプル効率をどう稼ぐか

RLが実機で嫌われる最大の理由はサンプル効率の低さです。数百万〜数億ステップを要する手法を実機で回すのは非現実的で、この壁を下げる工夫が実用化の鍵になります。第一に前述のオフポリシー化（SACのようにデータを再利用する）、第二に大量並列（PPOを数千のシミュレータで走らせ、実時間ではなくシミュレータ内時間で膨大な経験を稼ぐ）です。

さらに踏み込んだ方向がモデルベースRLです。環境の遷移モデル（次状態を予測する学習済みモデル）を並行して学習し、実データではなくモデル内の「想像上のロールアウト」で方策を大量に更新することで、実環境ステップあたりの学習効率を大きく引き上げます。ただし学習したモデルの誤差が方策更新に伝播するモデルバイアスという別の難しさを抱え、モデルフリーとのトレードオフになります。

方策の安全性：学習中の破壊的行動を封じる

実機での強化学習では、探索そのものが危険です。ランダムに近い初期方策は関節を限界まで振り回し、ロボット自身や周囲・人を傷つけかねません。安全なRLは「最終的に安全な方策を得る」だけでなく「学習の全過程で安全制約を破らない」ことを要求する、より厳しい問題です。

対策は複数の層で構成されます。最も基本的なのは行動範囲の制限で、方策の出力を安全な関節角・トルクの範囲にクリップし、飽和させることで物理的な逸脱を防ぎます。より原理的な枠組みが制約付きMDP（Constrained MDP, CMDP）で、報酬最大化に加えて「コスト（安全違反の指標）の期待値を閾値以下に保つ」制約を明示的に課し、ラグランジュ法などで報酬と制約のバランスを取りながら最適化します。さらに実行時にはシールド（safety shield）と呼ばれる仕組みで、方策が出した行動を安全性モニタが検査し、危険と判定した行動を安全な代替行動へ差し替えます。これらの安全機構は、人と同じ空間で動く協働ロボットにおける安全性と分離監視の設計原理とも直結します。

なお、こうした安全性の要請こそが、実機で直接学習せずシミュレータで学習してから実機へ移す戦略を後押しする最大の理由の一つです。学習した方策を最終的にどのアルゴリズムで得たとしても、その方策がモデルベースで設計されたPID・計算トルク制御と同様に、実機の非線形動力学と接触の上で安定に動くかを検証する工程は省けません。

まとめ

ロボットの連続制御を強化学習で解く際の中核は、行動空間が連続であることに起因する手法選択にあります。PPOはオンポリシーで更新をクリップにより安定化し、大量並列シミュレータで膨大な経験を稼ぐ前提の標準手法、SACはオフポリシーでエントロピー最大化により探索を持続させ、リプレイバッファの再利用でサンプル効率を稼ぐ手法であり、両者は優劣ではなく実機試行コストと並列可能性で使い分ける設計変数です。方策の最終的な質は報酬整形が大きく左右し、疎な報酬では学習が進まず、素朴なボーナス加算は報酬ハッキングを招くため、ポテンシャルベース整形のように最適方策を保ったまま学習を加速する原理が重要になります。そしてサンプル効率と安全性は、実機でRLを回すうえで避けて通れない2大制約であり、効率化手法は最終性能や再現性と競合し、安全性は学習の全過程での制約遵守という厳しい要件を課します。これらの原理を分解して捉えることが、手で設計しきれない制御則を実機で機能させる出発点になります。