Новое исследование алгоритмов обучения мета-подкрепления помогает нам понять, как человеческий мозг учится приспосабливаться к сложности и неопределенности при обучении и принятии решений. Исследовательская группа, возглавляемая профессором Санг Ван Ли в KAIST совместно с Джоном О’Доэрти в Калифорнийском технологическом институте, сумела открыть как вычислительный, так и нейронный механизм обучения мета-подкреплению человека, открыв возможность переноса ключевых элементов человеческого интеллекта в искусственный интеллект. алгоритмы. Это исследование дает представление о том, как в конечном итоге использовать вычислительные модели для реинжиниринга обучения с подкреплением.
Эта работа была опубликована 16 декабря 2019 года в журнале Nature Communications . Название статьи: «Сложность задачи взаимодействует с неопределенностью в пространстве состояний при арбитраже между модельным и безмодельным обучением».
Обучение человеческому подкреплению является по своей сути сложным и динамичным процессом , включающим постановку целей , выбор стратегии, выбор действий, модификацию стратегии, распределение когнитивных ресурсов и т. Д. Это очень сложная проблема, которую люди должны решить из-за быстро меняющейся и многогранной среды, в которой люди работать. Что еще хуже, людям часто нужно быстро принимать важные решения даже прежде, чем получить возможность собирать много информации, в отличие от случая, когда используются методы глубокого обучения для моделирования обучения и принятия решений в приложениях искусственного интеллекта.
Чтобы решить эту проблему, исследовательская группа использовала технику, называемую «дизайн эксперимента на основе теории обучения с подкреплением», чтобы оптимизировать три переменные двухэтапного марковского решения задачи – цель, сложность задачи и неопределенность задачи. Эта методика экспериментального дизайна позволила команде не только контролировать смешанные факторы, но и создавать ситуацию, аналогичную той, которая возникает при решении реальных человеческих проблем.
Во-вторых, команда использовала технику, называемую «анализ нейровизуализации на основе моделей». На основании полученных данных поведения и данных МРТ более 100 различных типов алгоритмов обучения мета-подкрепления были сопоставлены друг с другом, чтобы найти вычислительную модель, которая может объяснить как поведенческие, так и нейронные данные. В-третьих, для более строгой проверки команда применила аналитический метод, называемый «анализ восстановления параметров», который включает в себя высокоточное профилирование поведения как людей, так и вычислительных моделей.
Таким образом, команда смогла точно определить вычислительную модель обучения мета-подкреплению, обеспечив не только то, что кажущееся поведение модели похоже на поведение людей, но и то, что модель решает проблему так же, как люди.
Команда обнаружила, что люди, как правило, увеличивали основанное на планировании обучение подкреплению (так называемое управление на основе моделей) в ответ на возрастающую сложность задачи. Тем не менее, они прибегли к более простой и более ресурсоэффективной стратегии, называемой управлением без модели, когда и неопределенность, и сложность задачи были высоки. Это говорит о том, что как неопределенность задачи, так и сложность задачи взаимодействуют во время мета-контроля обучения с подкреплением. Вычислительный анализ МРТ показал, что сложность задачи взаимодействует с нейронными представлениями о надежности стратегий обучения в нижней префронтальной коре.
Эти результаты значительно улучшают понимание природы вычислений, выполняемых в нижней префронтальной коре во время обучения мета-подкреплению, а также дают представление о более общем вопросе о том, как мозг разрешает неопределенность и сложность в динамически изменяющейся среде. Определение ключевых вычислительных переменных, которые управляют префронтальным обучением мета-подкреплению, также может помочь понять, насколько этот процесс может быть уязвим для нарушения некоторых психических расстройств, таких как депрессия и ОКР. Кроме того, получение вычислительного понимания того, как этот процесс иногда может привести к усилению безмодельного управления, может дать представление о том, как в некоторых ситуациях производительность задачи может ухудшаться в условиях высокой когнитивной нагрузки.
Профессор Ли сказал: «Это исследование будет представлять огромный интерес для исследователей как в области искусственного интеллекта, так и в области взаимодействия человека с компьютером, так как оно обладает значительным потенциалом для применения основных идей, собранных в том, как человеческий интеллект работает с алгоритмами ИИ».