Human Capital Multidisciplinary Research Center

How Does the Choice Strategy Depend on the Context?

The Human Capital Multidisciplinary Research Center has published the 13th issue of the scientific digest. According to the research, in reinforcement learning, coding of choice results occurs in a context-dependent manner.

How Does the Choice Strategy Depend on the Context?

В ходе этого нейроэкономического исследования с участием людей было показано, что в обучении с подкреплением (не путать с машинным обучением) по типу павловского обусловливания, когда полезное действие, закрепляется и усиливает связь между ситуацией и реакцией, а вредное, ослабляет эту связь (в психологии известное также как «закон эффекта» Торндайка), кодирование результатов выбора в игре в лотерею происходит контекстно-зависимым образом. Немаловажно, что авторы дайджеста Стефано Палминтери и Маэль Лебретон раскрыли вычислительные механизмы этой зависимости.

Предыдущие исследования по перцептивному и экономическому принятиям решений свидетельствуют о том, что ценность одной опции определяется другими доступными опциями, то есть контекстом. В ходе многолетнего изучения было доказано, что такой принцип кодирования используется в процессах принятия решений в зависимости от прошлых результатов выбора, например, в обучении с подкреплением. Вследствие этого, результаты выборов приобретают субъективную ценность. Несмотря на то, что такая контекстная зависимость может быть оптимальной с информативной и экологической точек зрения, она не оптимально влияет на способность обобщать и распространять ценностно-ориентированные знания на новые контексты, таким образом, иногда создавая парадоксы в принятии решений.

Исследователи Института когнитивных нейронаук НИУ ВШЭ пришли к выводу о том, что в человеческом обучении с подкреплением результаты выборов кодируются контекстно-зависимым образом. Кроме того, контекстная зависимость преобразует объективные результаты выборов в субъективные и включает центрирование вокруг точки отсчета и диапазонную адаптацию. Эти процессы имеют как желательные, так и нежелательные поведенческие последствия.

Руководитель проекта «Научный дайджест НЦМУ ЦМИЧП» – Ольга Ворон

Дайджест №13 доступен по ссылке.