2010年12月27日月曜日

Dissociable roles of ventral and dorsal striatum in instrumental conditioning.

O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ.
Science. 304:452-4.

TD学習(Actor-Critic Model)の話。

Critic: prediction errorを基に「状態」の価値を計算。
Actor: prediction errorを基に「行動」の価値を計算。

一方、prediction errorはドーパミン神経細胞の活動と密接な関係があると言われている。
特に、Striatumは強い投射を受けている。
ventral Striatum: 報酬やモティベーション
dorsal Striatum: motor and cognitive control
→ ventral StriatumはCriticに、dorsal StriatumはActorにそれぞれ対応しているかも?(仮説*)

実験:fMRI中でギャンブルタスク
Instrumental conditioning task: 60%の確率で報酬(ジュース)が出る選択肢と30%の確率で報酬が出る選択肢のどちらかを選ぶ(被験者は報酬の確率は知らない、試行を重ねることで学習して行く)。
Pavlovian conditioning task:上とほぼ同じだが、行動の選択はコンピュータが行う(被験者はその指示に従う)。

Instrumental conditioning taskではCriticとActorを両方使うはず。
しかし、Pavlovian conditioning taskではActorはあまり使われないはず(自分で行動を選択しないから)。
仮説*が正しいなら、
→ ventral Striatumは両方のタスクでprediction errorに相関して活動する
→ prediction errorに相関するdorsal Striatumの活動は「Instrumental conditioning task > Pavlovian conditioning task」となる

結果:
両方のタスクで、ventral Striatumの活動はprediction errorと有意に相関した。
しかし、dorsal Striatumの活動は、Pavlovian conditioning taskでは、prediction errorと有意に相関しなかった(Instrumental conditioning taskでは有意に相関した)。
また、dorsal Striatumの活動のprediction errorとの相関は、Instrumental conditioning taskでの方がPavlovian conditioning taskでのものより有意に強かった。

Striatumの中でventralとdorsalの役割が分離できる(ventral:TD学習でのCritic、dorsal:TD学習でのActor)。

0 件のコメント:

コメントを投稿