2011年1月27日木曜日

Representation of Others' Action by Neurons in Monkey Medial Frontal Cortex

Kyoko Yoshida, Nobuhito Saito, Atsushi Iriki, Masaki Isoda
Current Biology 21, 1–5, February 8, 2011

自己と他者を区別するMFCニューロン
(MFC: medial frontal cortex)

他人が意思決定をするのを見ているトライアル、自分が意思決定するトライアルが交互に現れる。
(他人の意思決定の結果の情報を、次の自分の意思決定で使えるのがポイント)

主に2種類のニューロンが見られた。
Self type: 自己の意思決定時に反応
Other type: 他者の意思決定時に反応
あと、少数だけど Mirror type(自己と他者両方に反応)も見られた。

おもしろいことに、
dorsal(preSMA含む)にはSelf typeが多くて、ventral(rostral cingurate含む)にはOther typeが多かった。

→ MFCが他者の行動と自己の行動を区別するのに重要だろう。

Nature Neuroscienceあたりに載ってもおかしくない研究だと思ったけど…

Successful social interaction depends on not only the ability to identify with others but also the ability to distinguish between aspects of self and others [1-4]. Although there is considerable knowledge of a shared neural substrate between self-action and others' action [5], it remains unknown where and how in the brain the action of others is uniquely represented. Exploring such agent-specific neural codes is important because one's action and intention can differ between individuals [1]. Moreover, the assignment of social agency breaks down in a range of mental disorders [6-8]. Here, using two monkeys monitoring each other's action for adaptive behavioral planning, we show that the medial frontal cortex (MFC) contains a group of neurons that selectively encode others' action. These neurons, observed in both dominant and submissive monkeys, were significantly more prevalent in the dorsomedial convexity region of the MFC including the pre-supplementary motor area than in the cingulate sulcus region of the MFC including the rostral cingulate motor area. Further tests revealed that the difference in neuronal activity was not due to gaze direction or muscular activity. We suggest that the MFC is involved in self-other differentiation in the domain of motor action and provides a fundamental neural signal for social learning.

2011年1月25日火曜日

States versus Rewards: Dissociable Neural Prediction Error Signals Underlying Model-Based and Model-Free Reinforcement Learning.

Neuron, Volume 66, Issue 4, 585-595, 27 May 2010
States versus Rewards: Dissociable Neural Prediction Error Signals Underlying Model-Based and Model-Free Reinforcement Learning.
Jan Gla"schersend email, Nathaniel Daw, Peter Dayan, John P. O'Doherty

 Model-based RL & Model-free RL.

Learning from Others: Introduction to the Special Review Series on Social Neuroscience.

Neuron Volume 65 Issue 6
March 24, 2010.

 Social neuroscience特集(レビュー論文):

Learning from Others: Introduction to the Special Review Series on Social Neuroscience. Chris Frith, Uta Frith.
The Developing Social Brain: Implications for Education. Sarah-Jayne Blakemore.
Humans, Brains, and Their Environment: Marriage between Neuroscience and Anthropology? Georg Northoff.
Conceptual Challenges and Directions for Social Neuroscience. Ralph Adolphs.
The Challenge of Translation in Social Neuroscience: A Review of Oxytocin, Vasopressin, and Affiliative Behavior. Thomas R. Insel.
Social Interactions in “Simple” Model Systems. Marla B. Sokolowski.
Social Cognition and the Evolution of Language: Constructing Cognitive Phylogenies. W. Tecumseh Fitch, Ludwig Huber, Thomas Bugnyar.
Primate Social Cognition: Uniquely Primate, Uniquely Social, or Just Unique? Richard W. Byrne, Lucy A. Bates.
Genetics of Human Social Behavior. Richard P. Ebstein, Salomon Israel, Soo Hong Chew, Songfa Zhong, Ariel Knafo.

Value Computations in Ventral Medial Prefrontal Cortex during Charitable Decision Making Incorporate Input from Regions Involved in Social Cognition.

The Journal of Neuroscience, January 13, 2010. 30(2): 583-590.
Todd A. Hare, Colin F. Camerer Daniel T. Knoepfle, and Antonio Rangel.

Value of charitable donations:「どれくらい(何円くらい)寄付するか」
は脳のどこに保持されている?

ventromedial prefrontal cortex (vmPFC)に保持されている.
(自分の食べ物やお金のvalueが保持されているところと同じ(賦活部位が重なっている))

vmPFCの活動は、posterior superior temporal sulcus (pSTS), anterior insula (AI)の活動と相関している.
(pSTSとAIは社会的認知に関連していると考えられている)

→ 社会的認知関連領域からの入力を受けて,vmPFCがcharityの価値を計算している.

Neural responses to sanction threats in two-party economic exchange.

PNAS September 29, 2009 vol. 106 no. 39 16835-16840.
Jian Lia, Erte Xiao, Daniel Houser, and P. Read Montague.

「裏切り者への罰」を導入すると、協力率が低下することがある
Neural correlatesを信頼ゲームを用いて調べた(fMRI実験)

行動データ:
Trusteeの行動に注目。
Investorが「投資を還元しないtrusteeを罰することができる」とき、Trusteeの協力率(投資の何%を還元するか)は低下する

fMRIデータ:
Investorが「投資を還元しないtrusteeを罰することができる(罰あり)」時と「できない(罰なし)」時の、Trusteeの脳活動
罰なしで活動:ventromedial prefrontal cortex (vmPFC), posterior cingulate cortex (PCC), lateral OFC (OFC), Amygdala
→ これらの部位は、「社会的報酬に基づく意思決定」に関連
さらに、vmPFCの活動は、各トライアルの協力率と相関(パラメトリック・リグレッサー)

罰ありで活動:
Parietal lobe (LIP)
→ 合理的意思決定に関連

議論:
罰なしでは、社会規範に基づいて協力するが、罰が導入されると、自分の利益だけ考えるようになる(perception shift)

The neural bases of empathic accuracy

PNAS July 7, 2009 vol. 106 no. 27 11382-11387
Jamil Zaki, Jochen Weber, Niall Bolger, and Kevin Ochsner.

他者の心理状態の推定
・他者の心理状態をどれくらい正確に推定できるか?

正確に推定できているときに活動する脳部位:superior temporal sulcus (STS), medial prefrontal cortex (mPFC), inferior parietal lobule (IPL), dorsal premotor cortex (PMC)
STS, mPFCはmental state attributions (MSAs:e.g. 心の理論やmentalizing)に関連。
IPL, PMCはshared representations (SRs:e.g. mirror neuron system)に関連。

→ 他者の心理状態の推定にはMSAsとSRsの両方が必要

2011年1月23日日曜日

Understanding Others' Regret: A fMRI Study.

PLoS ONE, 1 October 2009, Volume 4, Issue 10, e7402
Nicola Canessa, Matteo Motterlini, Cinzia Di Dio, Daniela Perani, Paola Scifo, Stefano F. Cappa, Giacomo Rizzolatti.

「自分が後悔する」、「他人が後悔をしているのを見る」:両方に反応する脳部位は?
→ the ventromedial prefrontal cortex (vmPFC), anterior cingulate cortex (ACC) and hippocampus.
高次な感情に関するmirror-like mechanism.

(mirror-neuron: 自分の行為、他者の行為の知覚の両方に反応する神経細胞。特定の運動で発見された)

Encoding of Marginal Utility across Time in the Human Brain.

The Journal of Neuroscience, July 29, 2009 . 29(30):9575-9581
Alex Pine, Ben Seymour, Jonathan P. Roiser, Peter Bossaerts, Karl J. Friston, H. Valerie Curran, and Raymond J. Dolan.


異時点間の意思決定(時間選好実験)

Undiscounted utility: U
Temporal discount factor: D
Discounted utility: V = U x D.
(Uは上に凸な効用関数から、DはHyperbolic割引から求められる)

Uをコードする部位:striatum, ventral tegmental area (VTA), anterior cingurate cortex (ACC).

Dをコードする部位:striatum, insula, posterior and pregenual cingulate cortex, ventromedial orbitofrontal cortex, inferior frontal gyrus.

Vをコードする部位:dorsal striatum, pregenual cingulate cortex.

→ dorsal striatumが効用Uと時間割引Dを統合して割引後効用Vを保持している

Evidence for a Common Representation of Decision Values for Dissimilar Goods in Human Ventromedial Prefrontal Cortex.

The Journal of Neuroscience, September 30, 2009 . 29(39):12315-12320.
Vikram S. Chib, Antonio Rangel, Shinsuke Shimojo, and John P. O’Doherty.

色々なタイプの財の価値を統合している脳部位はどこ?

お菓子、アクセサリー、お金、それぞれの価値はどの部位でコードされているか?
3種の財の価値を共通してコードしている部位は?

→ ventromedial prefrontal cortex (vmPFC)が3種類全ての価値をコードしている
vmPFCは"common currency"を保持している。

2011年1月19日水曜日

Congruence of BOLD Response across Intertemporal Choice Conditions: Fictive and Real Money Gains and Losses.

The Journal of Neuroscience, July 8, 2009 . 29(27): 8839-8846
Warren K. Bickel, Jeffery A. Pitcock, Richard Yi, and Edgardo J. C. Angtuaco.

本当の金銭的報酬と仮想的な金銭的報酬はどう違うか?
(時間選好課題で比較)

行動データ:有意な違いはなかった
fMRIデータ:有意な違いはなかった(多重比較の問題を考慮しなければ、いくつかの部位が仮想 > 本当で活動したが)

行動的にも、神経活動的にも両者の違いはあまりない

Neural computations underlying action-based decision making in the human brain.

PNAS October 6, 2009 vol. 106 no. 40 17199-17204.
Klaus Wunderlicha, Antonio Rangel, and John P. O’Doherty.

行動の価値(action value)のneural correlates

意思決定を行うためには、以下のプロセスが必要:
・各選択肢の行動価値を計算する
・それらを比較する
・選ばれた選択肢の価値を更新する
(従来のfMRI研究の多くは「選ばれた選択肢の価値」に注目していた)

各選択肢の行動価値のneural correlatesを調べるために、行動のmodalityに工夫:
行動1:右手でボタンを押す
行動2:右方向へのサッケード
→ modalityが違うので、「各選択肢の行動価値」を別々に見れる(fMRIの空間解像度でも)

結果:
行動1の価値:left supplementary motor area (SMA).
行動2の価値:presupplementary eye field (preSEF).
→ 各選択肢の行動価値
両者の差:anterior cingulate cortex (ACC). → 行動の決定の関連
選ばれた選択肢の価値:ventoromedial prefrontal cortex (vmPFC). → 学習に関連

Activity in the amygdala elicited by unfair divisions predicts social value orientation.

Nat Neurosci. 2009.
Haruno M, Frith CD.

どっちを選ぶ?
「自分:100円、相手:100円」vs.「自分:110円、相手:60円」

前者を選ぶ → Prosocial
後者を選ぶ → Individualistic

Prosocialな被験者群では、不公平な配分に反応してAmygdalaが活動
さらにProsocialな被験者群では、Amygdalaの活動の個人差は、不公平回避の個人差を説明できる

Prefrontal cortexではなくて、Amygdalaが重要
→ 不公平回避はautomaticな反応?

2011年1月18日火曜日

Neural correlates of depth of strategic reasoning in medial prefrontal cortex.

PNAS  June 9, 2009   vol. 106  no. 23  9163-9168.
Giorgio Coricelli and Rosemarie Nagel.

美人投票ゲームのfMRI実験

・行動データ:Cognitive hierarchy modelで被験者をhigh-level reasoning groupとlow-levelに分けた

・High-level reasoning groupでは、対人ゲームのとき、ventromedial prefrontal cortex (vmPFC)が活動(low-levelはACCが活動)
・vmPFCの活動の個人差は美人投票ゲームでの成績の個人差を説明できる

Overlapping and Distinct Neural Systems Code for Subjective Value during Intertemporal and Risky Decision Making.

The Journal of Neuroscience, December 16, 2009 . 29(50):15727-15734.
Jan Peters and Christian Buchel.

「リスク下の意思決定」と「時間選好」の比較

・行動データ:リスクのある報酬、将来の報酬は共に割り引かれる

・Ventral striatum と orbitofrontal cortexは両方のタスクで「主観的な価値(subjective value)」をコード
・Fronto-polar and lateral parietal cortexとposterior cingulate cortexは「時間選好課題における主観的な価値」をコード
・Superior parietal cortexとmiddle occipital areasは「リスク下の意思決定課題における主観的な価値」をコード

→価値を計算する際には、domain-general(二つのタスクで共通)なシステムとdomain-specific(タスクごとに異なる)なシステムが使われる

How Green Is the Grass on the Other Side? Frontopolar Cortex and the Evidence in Favor of Alternative Courses of Action.

Neuron, Volume 62, Issue 5, 733-743, 11 June 2009
Erie D. Boorman, Timothy E.J. Behrens, Mark W. Woolrich1 and Matthew F.S. Rushworth.

行動を柔軟に変更することは、我々の意思決定において重要
→ 選ばれなかった選択肢の(相対的な)報酬確率を考慮することが重要

・Frontopolar cortex (FPC)が選ばれなかった選択肢の(相対的な)報酬確率を保持

・FPCの活動の個人差が行動の変化を説明できる

・一方、ventromedial prefrontal cortex (vmPFC)は選ばれた方の選択肢の相対的な価値を保持

Risk-dependent reward value signal in human prefrontal cortex.

Proc Natl Acad Sci U S A. 2009 Apr 15.
Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W.

リスク下の意思決定では、「utility」は「expected value」と「risk」から計算されると考えられる。

expected value↑ ⇒ utility↑ (for any subjects).
risk↑ ⇒ utility↓ (for risk-averse subjects).
risk value↑ ⇒ utility↑ (for risk-seeking subjects).

fMRI実験で:
expected value↑(リスク一定)⇒ lateral PFCの活動↑
risk↑ ⇒ lateral PFCの活動↓ (for risk-averse subjects).
risk value↑ ⇒ lateral PFCの活動↑ (for risk-seeking subjects).
⇒「expected value」と「risk」を統合した「utility」はlateral PFCにコードされている

2011年1月17日月曜日

The neurobiology of reference-dependent value computation.

J Neurosci. 2009 Mar 25;29(12):3833-42.
De Martino B, Kumaran D, Holt B, Dolan RJ.

モノの「価値」は参照点(reference point)の変化によって変わる。

fMRI実験で、「参照点の変化に影響を受けない価値」、「影響を受ける価値」をそれぞれコードしている脳部位を探した。
結果:
orbitofrontal cortex, dorsal striatum: 「参照点の変化に影響を受けない価値」をコード
ventral striatum: 「参照点の変化による影響の程度」をコード

How choice reveals and shapes expected hedonic outcome.

Sharot T, De Martino B, Dolan RJ.
J Neurosci. 2009 Mar 25;29(12):3760-5.

人々は「実際に選んだ選択肢」を「選ばなかった選択肢」より高く評価する(選ぶ前の評価は同じくらいだったとしても)。

fMRI実験:複数の(未来の)イベントから一つを選ぶ。
イベントの価値はCaudateにコードされている
←(選択前の)caudateの活動が実際の選択を予測
←(選択後は)「選んだイベント」と「選ばなかったイベント」に対する活動の差が増加

Associative learning of social value.

Timothy E. J. Behrens, Laurence T. Hunt, Mark W. Woolrich, Matthew F. S. Rushworth.
Nature 456 245-249 (13 Nov 2008).

「選択肢の報酬関連情報(確率、分散、量)」と「他者の行動に関する情報」は、それぞれどのように保持されていて、どのように相互作用しているのか?

fMRI実験:
二つの選択肢から報酬の多い方を学習していく
他者が毎回アドバイスをくれる
→選択肢の報酬情報と他者アドバイスの真偽を平行に学習し、それらを統合して、最終的に意思決定を行う

行動データ:
上記が確認された

脳イメージングデータ:
他者アドバイスの真偽に関する予測誤差 → DMPFC, TPJ/STS.
選択肢の報酬情報に関する予測誤差 → ventral striatum.

他者アドバイスの真偽に関する分散 → ACCg.
選択肢の報酬情報に関する分散 → ACCs.
(上記二つの部位の活動は、「どのくらい他者アドバイスを重視するのか」の個人差も説明できる)

選択肢の報酬情報と他者アドバイスの真偽を統合した最終的な「選択肢の価値」→ vmPFC.

16年目の1月17日

今日は阪神淡路大震災から16年目。

あるブログ(http://ameblo.jp/suzuki-ryohei/entry-10771153920.html#main)に触発されて、あの日のことをちゃんと書いておこうと思った。

当時は、兵庫県西宮市在住(中学2年)だった。

始まりは間近に雷が落ちたような地鳴りで、直後に揺れが来て停電、真っ暗な中で訳も分からずシェイクされてる感じだった。まさか地震とは思えず、2段ベッドの下に寝てる弟がものすごい勢いでベッドを揺らしてるのかと思い「○○止めろや!」とか叫んでしまったりもした(笑)。

揺れが収まった直後に父親から「○○公園に避難しろ!」と言われ、パジャマの上にコートを羽織り、弟と一緒に公園へ。近所の人達と夜明けを待った。やや明るくなると、知り合いもたくさん住んでいた高層マンションが倒壊しているのが見えて衝撃を受けた。

その後、車に避難。近所のローソンが店舗を開放して商品を配っていたので、食材(確かバナナ)を調達して朝食を摂った。当時は便乗値上げが話題になってたけど、ほとんどそんな店はなかったと思う(屋台みたいなんで来て、カセットガスボンベ一本五千円とか、おにぎり一個千円とかも見たけど…)。

幸運にもぼくには辛い思い出とかはほとんどない。同じ区画で亡くなった人がいたことも、生き埋めになった同級生(今はピンピンしてる:笑)がいたことも後で知った。ただ、あえて挙げると「水」。朝晩40リットルを弟と汲みに行くんだけど、それではお風呂はもちろん、トイレも小のときは流せない。復旧が本当に待ち遠しかった。

4年後に関西を離れ、今年であれから16年。帰省の度に街には新しいモンがどんどんできてる。エビスタ、アクタ、西宮ガーデンズ、挙げたらきりがない。慣れ親しんだ風景が変わってしまうことを寂しく思う人もいると思う。でも、ぼくは「変わった街」を誇りに思いたい。それは、被災した人たちのがんばり、全国(全世界)からの支援によって実現されたものだから。

亡くなられた方のご冥福を祈るのはもちろんだけど、今日までがんばってきた方々に「お疲れ様」、支援して下さった方々に「ありがとうございます」と言いたいなあ。

2011年1月16日日曜日

Activity in the Superior Temporal Sulcus Highlights Learning Competence in an Interaction Game.

Masahiko Haruno and Mitsuo Kawato.
The Journal of Neuroscience, April 8, 2009, 29(14):4542-4547.

囚人のジレンマ・ゲームにおける行動・神経活動の個人差について

fMRI実験:
コンピュータA (tit for tat)、コンピュータB (simple stochastic cooperator)と囚人のジレンマ・ゲーム

行動結果:
グループI: A, B両方への最適な行動を学習できた
グループII: Aに対してのみ最適な行動を学習できた

脳イメージング結果
STSの活動と期待報酬の相関が「group I > group II」
その他の報酬系(ventral striatum, ACC, PFCなど)は両グループで共通して活動
→ STSが重要

Effort-Based Cost-Benefit Valuation and the Human Brain.

Paula L. Croxson, Mark E. Walton, Jill X. O'Reilly, Timothy E. J. Behrens, and Matthew F. S. Rushworth.
The Journal of Neuroscience, April 8, 2009, 29(14):4531-4541.

意思決定は期待報酬だけではなくコスト(その報酬を得るために要する努力量)に応じて行われる。
しかし、そのコストがどうやって(どこで)処理されて、net Valueに反映されているかはよく分かっていない。

fMRI実験の結果:(期待報酬・コストを表すCueをみている時)
・ventral striatum & midbrainはnet Valueをコード
・dorsal ACCは期待報酬とコストの交互作用をコード
・posterior OFC & insulaは期待報酬量だけをコード
→ vStr & dACCが重要(ラットの知見とも一致)

2011年1月14日金曜日

Learning the value of information in an uncertain world.

Behrens TE, Woolrich MW, Walton ME, Rushworth MF.
Nat Neurosci. 2007 Sep;10(9):1214-21.

報酬に基づく意思決定(学習)では、報酬の確率だけではなく、その確率の変動(volatility)も重要
Volatility↑ ⇒ 学習スピード↑が考えられる

fMRI実験:
「被験者はベイズ推定を用いて報酬の確率と変動をトラッキング」と仮定(モデル)
→ 行動データと合う
→ VolatilityはACCでコードされており、ACCの活動は学習スピードの個人差を説明できる

Reward representations and reward-related learning in the human brain: insights from neuroimaging.

O'Doherty JP.
Curr Opin Neurobiol. 2004 Dec;14(6):769-76.

OFC: stimulusのreward valueをコード
例:食べ物の価値をコード→食べ飽きて価値が下がったらOFCの活動も↓

Amygdala: stimulusのreward valueをコード
伝統的には、aversive odourをコードと言われていただが、近年の研究では「不快」だけでなく「快」もコードしている証拠が出てきている。

Predictive reward valueは?
Amygdala, OFC, vStriatumが関与。

Cueと報酬の関係の学習後は、vStrとamygdalaはcueに反応しても報酬そのものには反応しない。

報酬予測が学習される計算論的メカニズムは?
予測誤差を用いたTD学習が行われていると考えられている。
dopamine neuronsが予測誤差と同じ反応をする(fMRIの場合は、dopamin neuronsの投射先のStr or OFC)。

報酬予測を基にした行動選択は?
dStriatum, lateral PFC, preMotor cortexあたり?

まとめ
他にも、dorsolateral prefrontal cortex, anterior and posterior cingulate cortex, parietal cortexなども関与。

The rupture and repair of cooperation in borderline personality disorder.

King-Casas B, Sharp C, Lomax-Bream L, Lohrenz T, Fonagy P, Montague PR.
Science. 2008 Aug 8;321(5890):806-10.

境界性人格障害者(BPD)と健常者の信頼ゲームにおける行動の比較
信頼ゲーム:健常者 (invester) vs. BPD (trustee)
信頼ゲーム(コントロール条件):健常者 (invester) vs. 健常者 (trustee)

【行動データ】
健常者-BPDでは協力が保てない
健常者-BPDでは協力が保てる
→何が違う?
→investerが協力しなかった時の行動が違う
健常者:それでも協力してみる(著者らはcoaxingと呼んでいる)
BPD:coaxingしない
(健常者-健常者では、coaxingすることで、investerが改心して協力が回復する)

【脳データ(fMRI)】
Trusteeの脳活動(low investment > high investment)
健常者:anteror insula (AI)が賦活
BPD:insulaが賦活しない
→ 健常者では、investmentの量とinsulaの活動が負の相関(BPDでは相関なし)

一方、trusteeが返す金額とinsulaの活動は?
→ 健常者,BPDともに負の相関

【議論】
BPDは健常者とinsulaの活動が違う
特に、investerの行動に対する反応が違う。
一方、trustee自身の行動に対する反応は違わない。
→ BPDは行動規範が健常者と違う。

だから、対戦相手との暗黙のコミュニケーションがうまくいかない。
信頼ゲームでは、coaxingによって、investerに自身の意図を伝えられない。
→ investerもうまく相手のモデルが作れず(相手の行動規範が読めないから)、協力が保てない。

Functional specialization within the dorsolateral prefrontal cortex: a review of anatomical and physiological studies of non-human primates.

Neurosci Res. 2006 Feb;54(2):73-84.
Hoshi E.

Dorsolateral prefrontal cortex (DLPFC)についてのレビュー論文
dorsal DLPFC (DLPFCd)とventral DLPFC (DLPFCv)の違い

・解剖学的構造(Fig.2が分かりやすい)
DLPFCdとの接続:cingulate cortex, PMd, PG (posterior parietal cortex) and PGm (posterior parietal cortex).
DLPFCvとの接続:Insular cortex, PMv, PF (posterior parietal cortex) and PFG (posterior parietal cortex).
DLPFCdは小脳と強い接続(DLPFCvと小脳の接続はさほど強くない)

・機能
encoding:
spatial information ( ← posterior parietal cortexとの接続ありとconsistent).
object identity,expected or obrained reward,a sequence of spatial motor acts,collective evidence over time,response outcome,action strategies (repeat-stay/change-shift)
( ← prefrontal内部,parietal,inferior temporal cortexとの接続ありとconsistent).

DLPFCd: motor planning, phases in multiple-step tasks and memorizing spatial locations or goals.
→ representing processed motor information (such as arm use or target location), and integrating multiple classes of information for plannning action.

DLPFCv: visuo-spatial location of attended signals and visuo-spatial information about cues.
→ detecting visuospatial signal as the primary interface for sensory signals.

Role for cells in the presupplementary motor area in updating motor plans.

Shima K, Mushiake H, Saito N, Tanji J.
Proc Natl Acad Sci U S A. 1996 Aug 6;93(16):8694-8.

Monkey physiology study:
preSMAとSMAの違いは?

1ブロック:ある運動系列を5試行
preSMA,SMA,M1(一次運動野)からレコーディング
→ preSMAに、1試行目に反応するニューロンを発見(運動系列の種類に依らず)。
→ SMA,M1では上記のようなニューロンはない。

preSMAは現在の運動計画を破棄して次の運動計画を作るときに活動。
→運動計画の更新に関与

Categorization of behavioural sequences in the prefrontal cortex.

Shima K, Isoda M, Mushiake H, Tanji J.
Nature. 2007 Jan 18;445(7125):315-8.

Monkey physiology study:
多数の運動系列を覚えたり実行するためには、カテゴリー化が便利だ。
例:
カテゴリー1:AABBとBBAAと1122と2211
カテゴリー2:ABABとBABAと1212と2121
カテゴリー3:AAAAとBBBBと1111と2222

lateral prefrontal cortexからレコーディング
→ 運動の準備の段階で、それぞれのカテゴリーに選択的に反応するニューロンが見つかった(運動系列そのものではなく)。


lateral prefrontal coertexでは、物事の構造を抽象的なレベルで保持できる。

2011年1月13日木曜日

Neuronal correlates of goal-based motor selection in the prefrontal cortex.

Matsumoto K, Suzuki W, Tanaka K.
Science. 2003 Jul 11;301(5630):229-32.

Monkey physiology study:
報酬に基づく行動選択に関わる脳部位はどこか?

適切な行動をするためには、行動と結果の関係を理解することが重要である。

視覚刺激、行動、報酬が対応する課題実行中のサルのmedial PFCとlateral PFCからレコーディングを行った。
視覚刺激提示から行動実行の前までで、
・medial PFCとlateral PFCに報酬に反応するニューロン
・medial PFCに特定の行動-報酬の組み合わせに反応するニューロン
が見つかった。
→ medial PFCに「行動とその結果の対応」が保持されている。

Role for cingulate motor area cells in voluntary movement selection based on reward.

Shima K, Tanji J.
Science. 1998 Nov 13;282(5392):1335-8.

Monkey physiology study:
報酬に基づく行動選択に関わる脳部位はどこか?

→ rostral cingulate motor area (CMAr)が関連。
CMArのニューロンの活動を記録。
特に、
・行動から期待される報酬量
・報酬量に満足で着なかった場合の行動変更
に関連。

さらに、ムシモールを使ってCMArをdeactivateすると、上記ができなくなる。

Serotonin modulates behavioral reactions to unfairness.

Crockett MJ, Clark L, Tabibnia G, Lieberman MD, Robbins TW.
Science. 2008 Jun 27;320(5884):1739. Epub 2008 Jun 5.

セロトニンの社会行動への影響

セロトニン抑制群とプラシボー群で、最後通牒ゲームにおける不公平な提案にたいする反応を調べた。
(提案された「金額そのもの」などが影響しないように、バランスをとった実験を行った)

結果:
セロトニン抑制群は不公平な提案を拒否する確率が高かった。
一方で、「fairness judgment」「mood」「response inhibition」などには変化なし。

議論:
先行研究では、
(1)DLPFC(前頭葉外背側)を抑制すると、不公平な提案を拒否する確率が低くなる
(2)VPFC(前頭葉腹側部)損傷患者は不公平な提案を拒否する確率が高い
→本研究は(2)に一致

結論は?

A framework for studying the neurobiology of value-based decision making.

Rangel A, Camerer C, Montague PR.
Nat Rev Neurosci. 2008 Jul;9(7):545-56.

価値に基づく意思決定の脳科学を研究する枠組

・意思決定に関わる計算:
意思決定に関わる計算は5つに分けられる。
(1)Representation:
環境や内部状態、実行可能な選択肢を特定する
(2)Valuation:
実行可能な行動の価値を見積もる
(3)Action selection:
上記の価値に基づいて、行動を決める
(4)Outcome evaluation:
行動の結果を評価する
(5)Learning:
その結果の評価をもとに学習する
→それぞれの段階について議論して行く。

・Representation:
残念ながら、これについてはよく分かっていない。

・Valuation:
人間・動物の行動には3種類あると言われている。

(a) Pavlovian systems:
多くの場合、"innate" or "hard-wired"だが、トレーニングでも身に付く。
少数の特定の環境(刺激)と特定の行動を結び付けている。
ほとんど自動的な行動だが、厳密にはそうではない(行動に価値を割り当てている)。
Pavlovian systemsの脳神経基盤は、the amygdala, the ventral striatum, and OFCを含むシステムが価値をコードしている。

(b) Habit systems:
繰り返しトレーニングすることで身に付く。
例:朝起きてコーヒーを飲む・いつも同じ道を通って通勤する。
脳神経基盤:dorsolateral striatum, cortico-tharamic loopが重要な役割を果たしている。

(c) Goal-directed systems:
結果や報酬を計算して行動を決める。行動と結果の関係・結果と報酬の関係が必要。
例:どの映画を観るか決める。
脳神経基盤:the dorsal striatumが行動と結果の関係、OFC & DLPFCが結果と報酬の関係をコード。
連合皮質-大脳基底核ループが重要な役割を果たしている。
Goal-directed systemsは環境の変化に「素早く」対応できるが、前の二つはできない!

価値判断に影響を与える要因:
リスク・不確実性や報酬の遅れも価値判断に影響を与える。
リスクについて:striatum, mOFCは報酬の期待値をコード。中脳ドーパミンニューロンは期待値とリスクをコード。IPCは期待値をコード。
→ striatum-OFCネットワークは統計的情報を処理?
不確実性について: amygdala, OFC, anterior insulaは不確実性を現すパラメータをコード。
報酬の遅れについて:ventral striatum, mOFCにhyperbolic signalをコードしている所がある。しかし、報酬の遅れについては実験のcontextに影響を受けやすく、よく分かっていない。
(リスクは結果の確率分布既知、不確実性は確率分布未知)

・Action selection:
あまりよく分かっていない。
状況に応じて、habit systemsとGoal-directed systemsを使い分けているという説もある。

・Outcome evaluation:
mOFCが結果の事後的な満足度をコード(飽きてくると減少する)。
OFCは正の評価をコード、負の評価はACCがコード。
また、OFCは「ワインの値段によって変わる評価」などをコード → 高次認知の評価。
ラットでは、dorsal ACC, nucleus accumbens, 淡蒼球で結果の評価をコード。

・Learning:
Habit systemsにおける強化学習が有名。
prediction error(予測誤差)が重要な役割:中脳ドーパミンニューロンとその投射先のventral striatumがコード。
しかし上記部位は正の予測誤差をコードしていて、負の予測誤差に関しては色々な説がある。例えば、amygdalaがコードしている、とか。
また、強化学習ではなく、実際には採用しなかった行動の価値も更新していく「fictive learning」も提案されている。

・最後は、今後の課題や応用可能性。

Dissociable systems for gain- and loss-related value predictions and errors of prediction in the human brain.

Yacubian J, Glascher J, Schroeder K, Sommer T, Braus DF, Buchel C.
J Neurosci. 2006 Sep 13;26(37):9530-7.


【背景】
サルの神経生理学実験で、中脳ドーパミンニューロンが報酬の量と確率、予測誤差に反応することが知られている。
一方、人間を対象にしたfMRI実験では、ventral striatumがこれらに反応。
(ventral striatumはドーパミンニューロンの入力先。)

本研究では、報酬と損失の期待値に注目。
EV+: 報酬期待値 = 報酬額 × 確率
EV-: 損失期待値 = 損失額 × 確率

【仮説】
EV+はventral striatum、EV-はamygdalaでコードされている。
先行研究でamygdalaはprediction of aversive eventsに関連との報告あり。

【実験方法】
fMRIの中でギャンブルタスク。

【結果】
「報酬」について
報酬の量をコード:ventral striatum, anterior insula, orbitofrontal cortex (OFC)。
報酬の確率をコード:ventral striatum, ventromedial cortex (VMPFC)。
EV+をコード:ventral striatum, OFC。
報酬の予測誤差:ventral striatum。


「損失」について
EV-:Amygdala。
損失の予測誤差:Amygdala。

Neural antecedents of financial decisions.

Knutson B, Bossaerts P.
J Neurosci. 2007 Aug 1;27(31):8174-7.

概要:
経済的意思決定に重要なのは選択肢の「期待報酬」と「リスク」である。
期待報酬はventral striatum、リスクはinsulaにコードされている。
それらの脳活動により、その後の意思決定を予測できる。

期待報酬について:
・striatumとprefrontal coertexのドーパミン投射を受ける部位が期待報酬をコード。
・期待報酬は「報酬額」と「実現確率」に分けられる。
・ventral striatumは確率をコード、
・ventral striatumは報酬額と確率の両方をコード、
・medial prefrontal cortexが確率をコード、
などと主張している研究がある。

リスクについて:
・ventral striatum、insula、lateral orbitofrontal cortex、midbrainなどがリスクをコード。

期待報酬とリスクのまとめ:
多くの研究では、
「期待報酬はventral striatum、リスクはinsulaにコードされている」としている。

ventral striatumとinsulaの活動から意思決定を予測できる:
safeとriskの二つの選択肢のどちらを選ぶ:
ventral striatumが活動 → riskを選ぶ
insulaが活動(前回の選択肢でうまく行かなかったとき) → 次はsafeを選ぶ
品物を買う or 買わない:
品物を見たときventral striatumが活動 → 買う
値段を見たときinsulaが活動 → 買わない

社会的状況(ゲーム):
ventral striatumが活動 → 他者を信頼して協力
insulaが活動 → ultimatum gameで不公平提案を拒否
これらの活動は、「対人」>「対コンピュータ」。

まとめ:
期待報酬はventral striatum、リスクはinsula。

Heterogeneous Coding of Temporally Discounted Values in the Dorsal and Ventral Striatum during Intertemporal Choice

X. Cai, S. Kim, and D. Lee
Neuron, Volume 69, Issue 1, 170-182, 13 January 2011

In choosing between different rewards expected after unequal delays, humans and animals often prefer the smaller but more immediate reward, indicating that the subjective value or utility of reward is depreciated according to its delay. Here, we show that neurons in the primate caudate nucleus and ventral striatum modulate their activity according to temporally discounted values of rewards with a similar time course. However, neurons in the caudate nucleus encoded the difference in the temporally discounted values of the two alternative targets more reliably than neurons in the ventral striatum. In contrast, neurons in the ventral striatum largely encoded the sum of the temporally discounted values, and therefore, the overall goodness of available options. These results suggest a more pivotal role for the dorsal striatum in action selection during intertemporal choice.

Value, pleasure and choice in the ventral prefrontal cortex

Fabian Grabenhorst, Edmund T. Rolls
Trends in Cognitive Sciences, 10 January 2011 (in press)
10.1016/j.tics.2010.12.004

Rapid advances have recently been made in understanding how value-based decision-making processes are implemented in the brain. We integrate neuroeconomic and computational approaches with evidence on the neural correlates of value and experienced pleasure to describe how systems for valuation and decision-making are organized in the prefrontal cortex of humans and other primates. We show that the orbitofrontal and ventromedial prefrontal (VMPFC) cortices compute expected value, reward outcome and experienced pleasure for different stimuli on a common value scale. Attractor networks in VMPFC area 10 then implement categorical decision processes that transform value signals into a choice between the values, thereby guiding action. This synthesis of findings across fields provides a unifying perspective for the study of decision-making processes in the brain.

Twitter経由で見つけた。
執筆中の論文にかなり関係ありそう。
早急に時間をつくって読もう。

2011年1月12日水曜日

Activation of Dorsal Raphe Serotonin Neurons Underlies Waiting for Delayed Rewards

Katsuhiko Miyazaki, Kayoko W. Miyazaki, and Kenji Doya
The Journal of Neuroscience, January 12, 2011, 31(2):469-479

The serotonergic system plays a key role in the control of impulsive behaviors. Forebrain serotonin depletion leads to premature actions and steepens discounting of delayed rewards. However, there has been no direct evidence for serotonin neuron activity in relation to actions for delayed rewards. Here we show that serotonin neurons increase their tonic firing while rats wait for food and water rewards and conditioned reinforcement tones. The rate of tonic firing during the delay period was significantly higher for rewards than for tones, for which rats could not wait as long. When the delay was extended, tonic firing persisted until reward or tone delivery. When rats gave up waiting because of extended delay or reward omission, serotonin neuron firing dropped preceding the exit from reward sites. Serotonin neurons did not show significant response when an expected reward was omitted, which was predicted by the theory that serotonin signals negative reward prediction errors. These results suggest that increased serotonin neuron firing facilitates a rat's waiting behavior in prospect of forthcoming rewards and that higher serotonin activation enables longer waiting.

Hypothetical and Real Choice Differentially Activate Common Valuation Areas

Min Jeong Kang, Antonio Rangel, Mickael Camus, and Colin F. Camerer
The Journal of Neuroscience, January 12, 2011, 31(2):461-468

Hypothetical reports of intended behavior are commonly used to draw conclusions about real choices. A fundamental question in decision neuroscience is whether the same type of valuation and choice computations are performed in hypothetical and real decisions. We investigated this question using functional magnetic resonance imaging while human subjects made real and hypothetical choices about purchases of consumer goods. We found that activity in common areas of the orbitofrontal cortex and the ventral striatum correlated with behavioral measures of the stimulus value of the goods in both types of decision. Furthermore, we found that activity in these regions was stronger in response to the stimulus value signals in the real choice condition. The findings suggest that the difference between real and hypothetical choice is primarily attributable to variations in the value computations of the medial orbitofrontal cortex and the ventral striatum, and not attributable to the use of different valuation systems, or to the computation of stronger stimulus value signals in the hypothetical condition.

2011年1月9日日曜日

Understanding neural coding through the model-based analysis of decision making.

Corrado G, Doya K.
J Neurosci. 2007 Aug 1;27(31):8178-80.

従来の神経科学実験は、実験者が外部からmanipulateできる外部変数に主に注目してきた。
例えば、視覚刺激の角度(外部変数)を変えて、一次視覚野の反応をみる。

しかし、意志決定には、「効用」などの被験者の主観的な内部変数も重要だ。
→ しかし、内部変数は観測できない。

そこで、
・行動データを説明できる数理モデルを作成、
・意志決定主体の内部変数を推定、
・脳活動との相関する部位を探索、
することで、被験者の内部変数と脳活動の関係を探れる。
(意志決定モデルで有名なのは強化学習)

研究の例:
Samejima et al., 2005:
Q-learningにおける(主観的な)行動価値(action value)に注目。
→ 線条体ニューロンの発火率が主観的な行動価値(action value)に相関する
他にも、以前紹介した、O'Doherty et al., 2004; Hare et al., 2008も例。

使用する意思決定モデルが満たすべき条件:
・注目したい内部変数が含まれていること(当たり前)
・行動データをうまく説明できること(被験者の実際の行動を再現できる+ほかの環境でも妥当な振舞をする)

最後に:
「ある意志決定モデルの変数と相関する脳活動が見つかる ⇒ 実際にそのモデルが使われている」わけではない!
しかし、特定の部位に注目する助けになる。そこをスタートにさらなる研究が必要。

2011年1月5日水曜日

Choice from Non-Choice: Predicting Consumer Preferences from Blood Oxygenation Level-Dependent Signals Obtained during Passive Viewing

Ifat Levy, Stephanie C. Lazzaro, Robb B. Rutledge, and Paul W. Glimcher
The Journal of Neuroscience, January 5, 2011, 31(1):118-125

Decision-making is often viewed as a two-stage process, where subjective values are first assigned to each option and then the option of the highest value is selected. Converging evidence suggests that these subjective values are represented in the striatum and medial prefrontal cortex (MPFC). A separate line of evidence suggests that activation in the same areas represents the values of rewards even when choice is not required, as in classical conditioning tasks. However, it is unclear whether the same neural mechanism is engaged in both cases. To address this question we measured brain activation with functional magnetic resonance imaging while human subjects passively viewed individual consumer goods. We then sampled activation from predefined regions of interest and used it to predict subsequent choices between the same items made outside of the scanner. Our results show that activation in the striatum and MPFC in the absence of choice predicts subsequent choices, suggesting that these brain areas represent value in a similar manner whether or not choice is required.

Neuronal Adaptation Effects in Decision Making

Panagiota Theodoni, Gyula Kovacs, Mark W. Greenlee, and Gustavo Deco
The Journal of Neuroscience, January 5, 2011, 31(1):234-246

Recently, there has been an increased interest on the neural mechanisms underlying perceptual decision making. However, the effect of neuronal adaptation in this context has not yet been studied. We begin our study by investigating how adaptation can bias perceptual decisions. We considered behavioral data from an experiment on high-level adaptation-related aftereffects in a perceptual decision task with ambiguous stimuli on humans. To understand the driving force behind the perceptual decision process, a biologically inspired cortical network model was used. Two theoretical scenarios arose for explaining the perceptual switch from the category of the adaptor stimulus to the opposite, nonadapted one. One is noise-driven transition due to the probabilistic spike times of neurons and the other is adaptation-driven transition due to afterhyperpolarization currents. With increasing levels of neural adaptation, the system shifts from a noise-driven to an adaptation-driven modus. The behavioral results show that the underlying model is not just a bistable model, as usual in the decision-making modeling literature, but that neuronal adaptation is high and therefore the working point of the model is in the oscillatory regime. Using the same model parameters, we studied the effect of neural adaptation in a perceptual decision-making task where the same ambiguous stimulus was presented with and without a preceding adaptor stimulus. We find that for different levels of sensory evidence favoring one of the two interpretations of the ambiguous stimulus, higher levels of neural adaptation lead to quicker decisions contributing to a speed?accuracy trade off.

Value Encoding in Single Neurons in the Human Amygdala during Decision Making

Rick L. Jenison, Antonio Rangel, Hiroyuki Oya, Hiroto Kawasaki, and Matthew A. Howard
The Journal of Neuroscience, January 5, 2011, 31(1):331-338

A growing consensus suggests that the brain makes simple choices by assigning values to the stimuli under consideration and then comparing these values to make a decision. However, the network involved in computing the values has not yet been fully characterized. Here, we investigated whether the human amygdala plays a role in the computation of stimulus values at the time of decision making. We recorded single neuron activity from the amygdala of awake patients while they made simple purchase decisions over food items. We found 16 amygdala neurons, located primarily in the basolateral nucleus that responded linearly to the values assigned to individual items.

Separable Learning Systems in the Macaque Brain and the Role of Orbitofrontal Cortex in Contingent Learning

Mark E. Walton, Timothy E.J. Behrens, Mark J. Buckley, Peter H. Rudebeck, Matthew F.S. Rushworth
Neuron, Volume 65, Issue 6, 927-939, 25 March 2010

Orbitofrontal cortex (OFC) is widely held to be critical for flexibility in decision-making when established choice values change. OFC's role in such decision making was investigated in macaques performing dynamically changing three-armed bandit tasks. After selective OFC lesions, animals were impaired at discovering the identity of the highest value stimulus following reversals. However, this was not caused either by diminished behavioral flexibility or by insensitivity to reinforcement changes, but instead by paradoxical increases in switching between all stimuli. This pattern of choice behavior could be explained by a causal role for OFC in appropriate contingent learning, the process by which causal responsibility for a particular reward is assigned to a particular choice. After OFC lesions, animals' choice behavior no longer reflected the history of precise conjoint relationships between particular choices and particular rewards. Nonetheless, OFC-lesioned animals could still approximate choice-outcome associations using a recency-weighted history of choices and rewards.

How instructed knowledge modulates the neural systems of reward learning

Jian Li, Mauricio R. Delgado, and Elizabeth A. Phelps
PNAS 2011 108 (1) 55-60

Recent research in neuroeconomics has demonstrated that the reinforcement learning model of reward learning captures the patterns of both behavioral performance and neural responses during a range of economic decision-making tasks. However, this powerful theoretical model has its limits. Trial-and-error is only one of the means by which individuals can learn the value associated with different decision options. Humans have also developed efficient, symbolic means of communication for learning without the necessity for committing multiple errors across trials. In the present study, we observed that instructed knowledge of cue-reward probabilities improves behavioral performance and diminishes reinforcement learning-related blood-oxygen level-dependent (BOLD) responses to feedback in the nucleus accumbens, ventromedial prefrontal cortex, and hippocampal complex. The decrease in BOLD responses in these brain regions to reward-feedback signals was functionally correlated with activation of the dorsolateral prefrontal cortex (DLPFC). These results suggest that when learning action values, participants use the DLPFC to dynamically adjust outcome responses in valuation regions depending on the usefulness of action-outcome information.

A selective role for dopamine in stimulus-reward learning

Shelly B. Flagel, Jeremy J. Clark, Terry E. Robinson, Leah Mayo, Alayna Czuj, Ingo Willuhn, Christina A. Akers, Sarah M. Clinton, Paul E. M. Phillips & Huda Akil
Nature 469, 53?57 (06 January 2011)

Individuals make choices and prioritize goals using complex processes that assign value to rewards and associated stimuli. During Pavlovian learning, previously neutral stimuli that predict rewards can acquire motivational properties, becoming attractive and desirable incentive stimuli. However, whether a cue acts solely as a predictor of reward, or also serves as an incentive stimulus, differs between individuals. Thus, individuals vary in the degree to which cues bias choice and potentially promote maladaptive behaviour. Here we use rats that differ in the incentive motivational properties they attribute to food cues to probe the role of the neurotransmitter dopamine in stimulus-reward learning. We show that intact dopamine transmission is not required for all forms of learning in which reward cues become effective predictors. Rather, dopamine acts selectively in a form of stimulus?reward learning in which incentive salience is assigned to reward cues. In individuals with a propensity for this form of learning, reward cues come to powerfully motivate and control behaviour. This work provides insight into the neurobiology of a form of stimulus?reward learning that confers increased susceptibility to disorders of impulse control.