2013年6月5日水曜日

A causal link between prediction errors, dopamine neurons and learning

Elizabeth E Steinberg, Ronald Keiflin, Josiah R Boivin, Ilana B Witten, Karl Deisseroth & Patricia H Janak
Nature Neuroscience (2013) doi:10.1038/nn.3413

報酬予測誤差とドーパミン、学習の因果関係。「光遺伝学的手法でドーパミンニューロンの活動を制御した」、「(学習心理学で使われる)ブロッキング、消去という実験パラダイムを用いて学習への影響をちゃんと調べた」ところがポイント(らしい)。

ブロッキング:「刺激A→報酬」学習後に「刺激AX→報酬」を経験させても「Xと報酬の連合」は学習されない(「AX→報酬」では報酬予測誤差がゼロでドーパミンニューロンが活動しないので)。しかし、光刺激でドーパミンニューロンを(報酬と同時に)活動させると学習が行われる。

消去:「刺激A → 報酬」学習後に「刺激A → 無報酬」を経験させると、学習効果は消去される。しかし、光刺激でドーパミンニューロンを「報酬が来るはずのタイミング」で活動させるとその学習が消去されない。

これらの結果は「ドーパミン(報酬予測誤差)→ 学習」の因果関係を示す。

Situations in which rewards are unexpectedly obtained or withheld represent opportunities for new learning. Often, this learning includes identifying cues that predict reward availability. Unexpected rewards strongly activate midbrain dopamine neurons. This phasic signal is proposed to support learning about antecedent cues by signaling discrepancies between actual and expected outcomes, termed a reward prediction error. However, it is unknown whether dopamine neuron prediction error signaling and cue-reward learning are causally linked. To test this hypothesis, we manipulated dopamine neuron activity in rats in two behavioral procedures, associative blocking and extinction, that illustrate the essential function of prediction errors in learning. We observed that optogenetic activation of dopamine neurons concurrent with reward delivery, mimicking a prediction error, was sufficient to cause long-lasting increases in cue-elicited reward-seeking behavior. Our findings establish a causal role for temporally precise dopamine neuron signaling in cue-reward learning, bridging a critical gap between experimental evidence and influential theoretical frameworks.

0 件のコメント:

コメントを投稿