Биология добра и зла. Как наука объясняет наши поступки

В лаборатории Шульца было показано, что уровень повышения дофамина при предвкушении зависит от двух параметров. Во-первых, от размера ожидаемой награды. Обезьяна выучивает, что свет сигнализирует об одной изюмине, а звук – о 10, конечно, если в обоих случаях 10 раз нажать на рычаг. И вскоре при звуке у нее выделялось заметно больше «обнадеживающего» дофамина, чем при включении света. Как будто дофаминовая система в одном случае сообщала «Сейчас произойдет кое-что потрясающее», а в другом – «Сейчас произойдет кое-что потрясающее!»

А во-вторых… Второй параметр вообще замечательный. Представим обычный эксперимент: включается свет, нажимается рычаг, выпадает награда. Теперь изменим правила: включается свет, нажимается рычаг и… награда выпадает только в половине случаев. И когда этот новый сценарий усваивается – вот чудо! – выделение дофамина увеличивается. Почему? Потому что ничто не подогревает выброс дофамина сильнее, чем все эти перебои в закреплении награды, все эти «может быть» {111} .

111

P. Tobler et al., “Adaptive Coding of Reward Value by Dopamine Neurons,” Sci 307 (2005): 1642; C. Fiorillo et al., “Discrete Coding of Reward Probability and Uncertainty by Dopamine Neurons,” Sci 299 (2003): 1898.

Когда новый сценарий с перебоями тоже выучивается, то дофамин начинает выделяться в неожиданный момент. За световым сигналом в ответ на перспективу награды следует закономерный всплеск дофамина. Затем нажимается рычаг – мы все еще в том предсказуемом времени, когда сигнал обозначал конкретную обязательную награду, – уровень дофамина на прежнем уровне, а затем, при получении награды, он чуточку увеличивается. Но теперь, с усвоением 50 % вероятности, после нажимания на рычаг уровень дофамина резко подскакивает – это ответ на неопределенность, на то самое «получу или нет?».

Изменим условия эксперимента еще больше: теперь вероятность награды не 50:50, а 25:75. Сдвиги с 50 к 25 % и с 50 к 75 % противоположны, если посмотреть с точки зрения вероятности получения награды. ПФК это хорошо понимает, как было показано в лаборатории Кнутсона: чем выше вероятность получения награды, тем выше активация ПФК {112} . Но при этом сдвиг к 25 % или к 75 % сходным образом уменьшает неопределенность. И в таком случае подъем дофамина на промежуточном этапе оказывается ниже, чем при 50:50. Из вышеизложенного следует, что дофаминовый пик «предвкушения» зависит от неопределенности получения награды [71] . В таких условиях добавочный дофамин выделяется в основном в мезокортикальном пути, в мезолимбическом же пути этот добавочный дофаминовый ответ существенно меньше. Следовательно, удовольствие от неопределенности усложнено рассудочным элементом – в отличие от привычного удовольствия.

112

B. Knutson et al., “Distributed Neural Representation of Expected Value,” J Nsci 25 (2005): 4806; M. Stefani and B. Moghaddam, “Rule Learning and Reward Contingency Are Associated with Dissociable Patterns of Dopamine Activation in the Rat Prefrontal Cortex, Nucleus Accumbens, and Dorsal Striatum,” J Nsci 26 (2006): 8810.

71

Как-то, обсуждая со мной эту тему, Грин иронично заметил, что бюджетное прогнозирование Гарвардского университета имеет в виду эти ожидания: они откуда-то ведь берут значение 50 %, когда прогнозируют, какая часть хорошо работающих молодых преподавателей получит постоянные позиции.

Поклон психологам, изучавшим феномен Лас-Вегаса, – для них все это уже давно не новость. С точки зрения логики игра не должна провоцировать «дофаминовое» ожидание, ведь шансы выиграть астрономически ничтожны. Но здесь срабатывает поведенческое манипулирование – тут тебе и оживленная круговерть вне времени и пространства, тут тебе и настоянное на практически бесплатном алкоголе лобно-сознательное здравомыслие, тут тебе и исходящие отовсюду уверения, что как раз сегодня твой счастливый день. В результате оценка шансов на успех искажается, попадая в тот диапазон, когда дофамин начинает играть вовсю, и вот уже – ого-го! – почему бы снова не попытать удачу?!

Взаимосвязь между «может быть» и склонностью к игре становится понятной в исследовании ситуации «почти получилось!», когда, например, в игровом автомате в линию собираются два из трех предметов. В контрольной группе при недостаче любого рода выделяется минимальное количество дофамина, а у заядлых игроков, если не хватает одного последнего предмета, дофамин подскакивает как сумасшедший. В другом исследовании рассматриваются две похожие ситуации с одинаково вероятным выигрышем. Но в одной из них вероятность выигрыша точно просчитывается, а в другой эта вероятность определяется недостатком информации о выигрыше. То есть во втором случае речь идет не столько о риске, сколько о неопределенности. И в этом случае миндалина активируется и тормозит дофаминергические нейроны. Таким образом, тем, что ощущается как взвешенный риск, формируется зависимость, а неопределенность всего лишь бодрит {113} .

113

R. Habib and M. Dixon, “Neurobehavioral Evidence for the “Near-Miss” Effect in Pathological Gamblers,” J the Exp Analysis of Behav 93 (2010): 313; M. Hsu et al., “Neural Systems Responding to Degrees of Uncertainty in Human Decision-Making,” Sci 310 (2006): 1680.

Стремление

Мы увидели, что дофамин обслуживает, скорее, ожидание награды, чем саму награду. Теперь пришло время поставить на место еще один кусочек мозаики. Опять вернемся к обезьяне, которой включают свет, после чего она нажимает на рычаг и получает награду. Когда обезьяну натренировали, выделение дофамина, как мы уяснили, достигает максимальных значений в предвкушении животным награды сразу после включения света.

А что случится, если после этого дофамин не выделится? {114} Тогда обезьяна не нажмет на рычаг. Например, крысы с разрушенным прилежащим ядром будут совершать беспорядочные действия вместо того, чтобы нацелиться на предполагаемую отложенную награду. А обезьяны, у которых вместо включения света напрямую стимулируют электродами выделение дофамина в покрышке, поспешат нажать на рычаг. Получается, что дофамин не просто обслуживает ожидание награды, он подпитывает целенаправленное поведение, необходимое для ее получения. Он увязывает размер вознаграждения с требуемыми действиями. Здесь и рождается мотивация: ее начало – в дофаминергических нейронах, идущих в ПФК, на долю которой выпадает самое трудное (т. е. работать).

114

A. Braun et al., “Dorsal Striatal Dopamine Depletion Impairs Both Allocentric and Egocentric Navigation in Rats,” Neurobiol of Learning and Memory 97 (2012): 402; J. Salamone, “Dopamine, Effort, and Decision Making,” Behavioral Nsci 123 (2009): 463; I. Whishaw and S. Dunnett, “Dopamine Depletion, Stimulation or Blockade in the Rat Disrupts Spatial Navigation and Locomotion Dependent upon Beacon or Distal Cues,” BBR 18 (1985): 11; J. Salamone and M. Correa, “The Mysterious Motivational Functions of Mesolimbic Dopamine,” Neuron 76 (2012): 470; H. Tsai et al., “Phasic Firing in Dopaminergic Neurons Is Sufficient for Behavioral Conditioning,” Sci 324 (2009): 1080; P. Phillips et al., “Sub-second Dopamine Release Promotes Cocaine Seeking,” Nat 422 (2003): 614; M. Pessiglione et al., “Dopamine-Dependent Prediction Errors Underpin Reward-Seeking Behavior in Humans,” Nat 442 (2008): 1042.

Иными словами, дофаминовая радость касается не самой награды. Это удовольствие от стремления к вознаграждению, когда имеются хорошие шансы его получить [72] {115} .

Таким образом, становится понятна природа мотивации или ее отсутствия (как это бывает во время депрессии, когда из-за стресса тормозится выделение дофамина, или при переживании тревожных состояний, когда это торможение обусловлено нейронами, приходящими из миндалины) {116} . Также становится понятен источник силы воли, которую нам организует лобная кора. Если в экспериментах приходится выбирать между немедленным удовольствием и отсроченным, сиюминутное желание возбуждает дофаминовые центры в лимбической системе (мезолимбический путь), а обдумывание отложенной награды активирует центры в лобном отделе (мезокортикальный путь). Чем больше активация в последнем, тем с большей вероятностью предпочтение будет отдано отложенному удовольствию.

72

Превосходным примером радости стремления, формирующей мотивацию, является проявление материнской заботы у крыс. Тут ключевую роль играет мезолимбическая система, определяя выделение дофамина равно как во время действий, так и по их результативному завершению.

115

К сноске: M. Numan and D. Stoltzenberg, “Medial Preoptic Area Interactions with Dopamine Neural systemsin the Control of the Onset and Maintenance of Maternal Behavior in Rats,” Front Neuroendo 30 (2009): 46.

116

S. McClue et al., “Separate Neural Systems Value Immediate and Delayed Monetary Rewards,” Sci 306 (2004): 503; J. Jennings et al., “Distinct Extended Amygdala Circuits for Divergent Motivational States,” Nat 496 (2013): 224.

Для подобных заключений потребовались исследования сценария с чередой коротких рабочих периодов, за которыми следует быстрая награда {117} . А что если сценарий другой: долгая работа, да еще с отсроченным на значительное время вознаграждением? В этом случае наблюдался дополнительный подъем дофамина, медленный и постепенный, он подпитывал выполнение работы. Амплитуда подъема зависит определенным образом [73] от времени отсрочки и от размера вознаграждения.

117

M. Howe et al., “Prolonged Dopamine Signaling in Striatum Signals Proximity and Value of Distant Rewards,” Nat 500 (2013): 575; Y. Niv, “Dopamine Ramps Up,” Nat 500 (2013): 533.

73

В дальнейших рассуждениях под величиной награды будет подразумеваться наклон прямой, т. н. штраф за отсрочку. Если отодвигать время получения награды, то наклон будет быстро становиться все более пологим; величина наклона в зависимости от отсрочки меняется не пропорционально, а более сложным образом. – Прим. пер.

Эксперименты прояснили, как дофамин обеспечивает отложенное удовольствие. Если ждать награды, допустим, время Х, то она будет иметь для нас условную «дофаминовую» ценность Z. А если той же награды ждать в два раза дольше, то можно предположить, что и ценность ее уменьшится вдвое. Но нет, она уменьшится вчетверо, до 1/4 Z: у нас есть ограничения по времени, мы не любим ждать.

В основе этого явления – сговор лобной коры и дофамина. Штраф за длительность – 1/4 Z вместо 1/2 Z – организуется в прилежащем ядре, тогда как длПФК и вмПФК определяют саму длительность {118} .

Все это порождает сложные взаимовлияния. Например, активируя длПФК или, наоборот, приглушая вмПФК, можно сдвинуть предпочтение к быстрой награде. В одном отличном исследовании Кнутсон показал с помощью нейросканирования, что у нетерпеливых людей этот штраф за отсрочку (снижение уровня дофамина в зависимости от времени отсрочки) заметно больше. У них, когда соответствующие центры возбуждены, прилежащее ядро недооценивает размер награды, а длПФК переоценивает длительность отсрочки {119} .

118

W. Schultz, “Subjective Neuronal Coding of Reward: Temporal Value Discounting and Risk,” Eur J Nsci 31 (2010): 2124; S. Kobayashi and W. Schultz, “Influence of Reward Delays on Responses of Dopamine Neurons,” J Nsci 28 (2008): 7837; S. Kim et al., “Prefrontal Coding of Temporally Discounted Values During Intertemporal Choice,” Neuron 59 (2008): 161; M. Roesch and C. Olson, “Neuronal Activity in Orbitofrontal Cortex Reflects the Value of Time,” J Neurophysiology 94 (2005): 2457; M. Bermudez and W. Schultz, “Timing in Reward and Decision Processes,” Philosophical Trans of the Royal Soc of London B 369 (2014): 20120468; B. Figner et al., “Lateral Prefrontal Cortex and Self-Control in Intertemporal Choice,” Nat Nsci 13 (2010): 538; K. Jimura et al., “Impulsivity and Self-Control During Intertemporal Decision Making linkced to the Neural Dynamics of Reward Value Representation,” J Nsci 33 (2013): 344; S. McClure et al., “Time Discounting for Primary Rewards,” J Nsci 27, 5796.

119

K. Ballard and B. Knutson, “Dissociable Neural Representations of Future Reward Magnitude and Delay During Temporal Discounting,” Neuroimage 45 (2009): 143.