報酬予測誤差 ｜ なぜ「期待以上」のときに脳は震えるのか？– ドーパミンが導く、学習と快楽のアルゴリズム –

報酬予測誤差（reward prediction error）とは、予想していた結果と、実際に得た結果の差を表す概念です。予想より良ければ正、悪ければ負の誤差として扱われ、学習理論や神経科学、強化学習で用いられます。

この概念は、次に同じ選択をするときの期待を更新する仕組みを説明します。人の感情や行動を一つの信号だけで説明するものではありませんが、期待が変わる学習過程を捉える有力な枠組みです。

1. 思わず納得？日常の「報酬予測誤差」あるある

「結果そのもの」だけでなく、期待との違いが印象に残る場面があります。

サプライズの感動

期待していなかった贈り物や評価は、予想との差が大きいため、強く記憶に残りやすいことがあります。反対に、高い期待に届かなかった結果は落差として経験されます。

「いつもの給料」ではワクワクしない

定期的に予想どおり得られる給与は大切な報酬ですが、新しい情報としての差は小さくなります。同じ金額でも、予期しなかった支給とは受け止め方が違うことがあります。

ソーシャルゲームの「単発ガチャ」

期待していなかった結果が出る経験は、次の選択への期待を変えます。ただし、偶然の当たりが続く期待を正当化するわけではありません。ゲームやギャンブルに困りごとがある場合は、仕組みの理解だけで対処しようとせず、利用額や相談先も含めて考えることが大切です。

2. 猿の脳が教えてくれた「学習の正体」（シュルツの実験）

シュルツ、デイヤン、モンテーギュらは、報酬を予測する手がかりを学習したサルで、ドーパミン細胞の活動を記録しました。

実験のステップ：猿とジュース

1. 学習前には、予期しないジュースに反応が見られました。
2. 手がかりの後にジュースが出る関係を学習させました。
3. 学習後には、ジュースそのものより手がかりの時点で反応が移るパターンが報告されました。

判明した「脳の引き算」

予想された報酬が得られなかったときには、予定時刻付近で活動の低下が観察されました。この結果は、ドーパミン細胞の一部の反応が予測誤差と整合的であることを示した代表的な研究です。ドーパミンの働き全体を「快楽」または「誤差」だけに還元することはできません。

3. 数学で読み解く「学び」のメカニズム

もっとも単純には、予測誤差を「実際の結果 − 予測した結果」と表せます。強化学習では、次の状態で得られる価値も含めた時間差誤差（TD誤差）がよく使われます。

δ = 実際の結果 − 予測した結果

正の誤差は期待を上方修正する手がかりに、負の誤差は下方修正する手がかりになります。これはAIの学習アルゴリズムでも使われますが、人間の意思決定をそのまま同じ式だけで表すものではありません。

この理論が登場する記事 3記事

恋人との対話 彼女にアドバイスすると怒られる理由｜相談の目的を確かめる3つの方法 → 恋人との対話 彼女が急に不機嫌になる理由｜振り回されないための対処法 → 愛情の見えにくさ 彼氏が「釣った魚に餌をやらない」理由｜交際後の関係を見直す3つの方法 →

4. 併せて知っておきたい関連理論

脳内の「期待と現実のギャップ」が、どのように学習やモチベーションに変換されるのか。報酬予測誤差を軸に、4つの重要概念を整理します。

強化学習

報酬予測誤差を数学的な核（TD誤差など）として採用している、機械学習のアルゴリズムです。AI（エージェント）が「予測した報酬」と「得られた報酬」の差を計算し、その誤差を埋めるように自分自身の行動ルールを更新していきます。私たちの脳内で行われているドーパミンによる学習プロセスを、デジタル世界で再現したものが強化学習です。

強化スケジュール

報酬を与えるタイミングや頻度のルールのことです。報酬予測誤差の観点から見ると、スロットマシンのような「変動比率スケジュール（いつ当たるか不明）」は、常に予測が裏切られるため、プラスの予測誤差が発生し続け、脳が強烈な興奮状態に置かれます。これが、報酬が予測可能な「給料」よりも、不確実な「ギャンブル」の方が中毒性が高くなる理由です。

フロー理論

自分の能力と課題の難易度が絶妙なバランスで釣り合い、完全に没頭している状態です。報酬予測誤差が「大きすぎず、小さすぎない」状態が維持されると、脳は飽きることなく、かつ挫折することもなく学習を続けることができます。適切な「驚き」と「達成感」が連続的に発生する環境こそが、フロー体験を生み出す条件となります。

インセンティブ理論

人間が外部の目標や報酬（インセンティブ）に引き寄せられて行動するという理論です。インセンティブが提示された瞬間、脳内では「将来もらえる報酬の予測値」が形成されます。実際にその報酬を手に入れたときの「報酬予測誤差」が、そのインセンティブの魅力を再評価させ、次に同じ目標に向かうかどうかの意欲（モチベーション）を決定づけます。

5. 学術的根拠・出典

• Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275(5306), 1593–1599.
• Schultz, W. (2016). Dopamine reward prediction-error signalling: a two-component response. Nature Reviews Neuroscience, 17, 183–195.
• Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.