背景

　イヌに「お手」を新しく教える場合、「お手」ができた時に餌を与えるとイヌはまた「お手」をして餌をもらおうとする。このように動物が行動を起こした直後に報酬（餌）を与えると、その行動が強化され、繰り返し行動するようになる。このことは100年以上前にソーンダイクやパブロフにより報告された。報酬は行動の直後に与えられると効率的な学習を起こすが、行動と報酬までの時間が長くなると学習の効率は著しく下がる。また、単に報酬（餌）だけを与えて待っていても「お手」をするようにならない。このように報酬学習では、行動に対してどのようなタイミングで報酬が与えられるかが学習の効率を決定する。このように行動における報酬タイミングの重要性ははっきりしていたが、この報酬タイミングを検出する神経基盤は不明であった。 　

　これまでの知見から、中脳のドーパミン神経の活動、つまり、そこから放出されるドーパミンが報酬信号を表すと考えられてきた。ドーパミン神経は報酬に反応して１秒以下の一過性の発火を示し、これにより報酬学習が誘引される。また学習の基盤にはグルタミン酸作動性シナプス（注１）におけるシナプスの結合強度の変化（シナプス可塑性）があるとされ、ドーパミン神経の投射先である線条体や側坐核といった脳領域でのドーパミンが、グルタミン酸作動性シナプスの可塑性を修飾すると考えられてきた。ドーパミンが報酬作用を持つとすれば、行動の報酬タイミングに対応してドーパミンの一過性発火が直前に活性化されたシナプスのみを選択的に強化する特性を持つ必要がある。しかし、これまでの電極による電気刺激を使った実験技術ではグルタミン酸やドーパミンを放出する神経線維を区別して刺激することができず、この重要な問題を明らかにすることができなかった。報酬作用の神経基盤を解明することは依存症や強迫性障害などの報酬学習が病態の本質である精神疾患の理解・治療に役立つことが期待される。

解説

　本研究グループで開発された光によるグルタミン酸刺激（２光子アンケイジング法）（注２）と、光遺伝学（注３）によるドーパミン神経刺激と組み合わせることで、グルタミン酸とドーパミンを独立して制御できるような実験系を構築し、ドーパミン作用の時間枠の解明に挑戦した。 　これまでに、本研究グループの成果として、海馬という脳領域において、スパイン（注４）の頭部が大きくなる運動（スパインの頭部増大）によりシナプス結合が増強することを報告している。そこで、側坐核の神経細胞の一群であるD1受容体発現-中型有棘神経細胞（注５）において、２光子アンケイジング法によりスパインをグルタミン酸刺激しながら、ドーパミン細胞の一過性発火を起こしてドーパミンの作用を観察した。すると、グルタミン酸刺激の直後にドーパミン刺激を与えると顕著な頭部増大を示したが、グルタミン酸刺激の直前や５秒ほど後にドーパミン刺激をしてもスパイン頭部増大は見られなかった。様々な時間枠でドーパミン刺激を与えたところ、グルタミン酸刺激の0.3–2秒の間に与えられた時にのみ頭部増大を示し、ドーパミンがシナプス結合を増強する時間枠が世界で初めて明らかになった。驚いたことに、この時間枠は、ドーパミン神経の電気自己刺激や報酬と行動を調べた実験において、学習が成立した際の報酬を獲得した時間枠とほぼ一致していた。 　

　次にドーパミン作用が秒単位に限られる分子機序を調査した。ドーパミンは細胞内ではセカンドメッセンジャーである環状AMPを介してプロテインキナーゼA(PKA)を活性化させることから、このPKA活性のプローブを用いて細胞内シグナルをイメージングすることで調査した。この結果、樹状突起・スパインにおいては神経細胞が活性化された後に可塑性修飾と同じ時間枠でドーパミンが与えられた時にのみPKAが活性化されることがわかった。このように樹状突起・スパインという神経細胞の枝においてはドーパミンだけではPKAの活性は上昇しなかったが、神経細胞の細胞体においてはドーパミンだけでPKA活性の上昇が見られた。つまり、樹状突起・スパインにおいてのみ、後からやってきた報酬が直前の活動を強化できることに対応した時間枠で活性調節されているというドーパミン作用の細胞内の違いが明らかになった。さらに調査を進めることで、樹状突起・スパインではドーパミンだけではPKA活性が上昇しないのは環状AMPの分解酵素であるホスホジエステラーゼが強く作用することで環状AMPを分解し、ドーパミンだけではPKAが活性化しないようになっていることがわかった。樹状突起でホスホジエステラーゼの活性が高いのは樹状突起が細いことで効率的に環状AMPを分解していることが関係していた。

解題

　本研究により、側坐核の１つ１つのスパイン・シナプスはグルタミン酸により活性化された後、報酬信号であるドーパミンが与えられた時にのみ頭部増大することが示された。その際、頭部増大を強化する時間特性が存在し、ドーパミンは一定の時間枠においてのみ報酬作用を持ち、動物個体の報酬学習を起こすと考えられた。報酬学習は依存症や強迫性障害などの精神疾患の病態の根幹である。覚醒剤やアルコールは快感物質として強い報酬学習を引き起こしてしまい、物質の使用をやめることができないことから依存症に至ると考えられている。これまでの治療ではこの「快」の記憶を消すことができないため、一度薬物の使用をやめられたとしても、すぐに再発してしまうということが問題になっていた。今回の研究を発展させ、快記憶の形成過程や消失過程に関わるシナプスや分子機構が明らかにすることで、これまでとは全く異なる新しい治療戦略を考えていくことができるかもしれない。さらに、本研究により明らかになった、ドーパミンがシナプス結合を増強する時間枠は、ロボットの強化学習理論が用いている「報酬時間枠」によく対応するので、脳が強化学習機構を用いていることはほぼ確かとなり、学習理論にも重要な示唆を与える。

（注１）シナプス： 神経細胞の接合部位でグルタミン酸が放出され、受容される。

（注２）２光子アンケイジング法： ２つの光子が同時に分子に吸収される非線形な現象を用いて点状に分子を励起する顕微鏡を２光子顕微鏡という。この顕微鏡をグルタミン酸を放出する化学反応に用いて、点状にグルタミン酸を放出して単一のスパインを刺激する方法。

（注３）光遺伝学： 光活性化タンパク質を細胞に遺伝子導入することで、細胞機能を光により制御する技術。本研究においては青色光の照射により細胞を発火させることができるチャネルロドプシン２遺伝子をドーパミン神経に導入し、青色光によるドーパミン神経操作を可能にしている。

（注４）樹状突起スパイン： 興奮性シナプスは特有の棘構造（スパイン）を持つ。この構造は運動性に富み、私たちの速い精神活動の基盤になるのではないかと考えられている。

（注５）D1受容体発現　中型有棘神経細胞： 側坐核の９割ほどの神経細胞は中型有棘神経細胞と呼ばれる樹状突起スパインに富む神経細胞である。この中型有棘神経細胞はドーパミン１型（D1）受容体を発現する神経細胞とドーパミン２型受容体を発現する神経細胞の２種類に大別される。このうちD1受容体発現-中型有棘神経細胞は報酬学習の獲得に関わることが知られている。