Семинары

19.12.2023 Очередное заседание семинара "Математическая экономика"

Очередное заседание семинара "Математическая экономика" (руководители - д.ф.-м.н. В.И.Данилов и академик В.М.Полтерович) состоится в очном и дистанционном режиме:

во вторник, 19 декабря 2023 г., в 11 часов 30 минут, в комн. 524

Ссылка для входа в видео-конференцию (заработает за 10-15 минут до начала семинара):
https://us02web.zoom.us/j/87685525576?pwd=RlJZS3owaE5yYzZHWDlTMjdaZlZRUT09
Meeting ID: 876 8552 5576, Passcode: 179179

Программа заседания:

Е.Е. Васильева (ФИАН), А.В. Леонидов (ФИАН, МФТИ), А.С. Титов (ФИАН)
Эффект ловушки в Q-обучении в социальных дилеммах

Аннотация к докладу

Работа посвящена применению методов обучения с подкреплением, в частности Q-обучения, для биматричных игр, отвечающих социальным дилеммам - играм с одним или более чистым равновесием Нэша, в которых перед игроками стоит выбор: кооперация или предательство. Основное внимание уделяется анализу эффектов учета вклада будущих состояний игры. Q-обучение – это метод обучения с подкреплением, аппроксимирующий математическое ожидание функции ценности пары состояние-действие. В работе изучена модель, в которой игроки обучаются на сессиях из N последовательных матричных игр, где на каждой из этих стадий реализуется некоторое состояние. Такая модель позволяет увидеть влияние информации о будущих состояниях на траектории стратегий игроков. Для одностадийной игры наши результаты повторяют результаты из соответствующей литературы: Karl Tuyls et al. (2003) вывели уравнение динамики репликатора, описывающее поведение траекторий агентов Q-обучения, но в данной статье и последующей литературе не было проведено рассмотрение многостадийной игры и, следовательно, не было изучено влияние следующих состояний на процесс обучения в текущем. В данной работе мы демонстрируем, что в результате учета будущих состояний для промежуточных стадий появляется дополнительный нестабильный аттрактор, в который попадают игроки. Траектории игроков сначала притягиваются к чистым стратегиям, и только после этого приходят в аттрактор приведенной ранее динамики. В работе предложено называть этот эффект ловушкой обучения.


 Приглашаем Вас принять участие в заседании семинара! 

Видео-записи прошедших семинаров можно посмотреть здесь:
https://www.youtube.com/playlist?list=PLCz88q2rdEwA-HJa6ZLz4DdLqMIhPfFKQ