Перейти к содержимому
SBER 288,19 ₽ 0,16% рост за прошлую сессиюIMOEX 2 351,54 0,07% снижение
·Технологии·источник: Habr·1 мин

Эпизод 2. Подсмотрено у мозга: предсказание, азбука, план

Продолжаем решать интересную RL-задачу: агент должен сам научиться играть в Atari Frostbite по сырым видеокадрам, чтобы набрать 136k+ очков и одолеть SOTA модель MEME-200 [4]. Меня зовут Михаил Кочеров. Я занимаюсь этой задачей, потому что по ходу её решения можно лучше понять, как работает наш мозг. Как будто сама природа подкидывает проблемы и намекает на пути их решения, шепча “Загляни в себя, там все ответы”. Разобраться в работе нашего мозга — мой идефикс.

Во Frostbite нужно управлять эскимосом, собирать иглу, прыгая по льдинам, уворачиваться от врагов, тикает таймер замерзания. Для перехода на новый уровень эскимос должен зайти в собранный иглу. Игра непростая, в среднем после 2-х часов игры новичок набирает около 4 тысяч очков (2-3 пройденных уровня).

В прошлом эпизоде мы собрали простого агента на базе CNN и трансформера. Агент владеет базовыми механиками игры, набирает 779 очков, но не проходит даже первый уровень. При этом улучшения от дальнейших тренировок нет. Очевидно, что агент нащупал локальный минимум и застрял в нём. Его надо как-то вытолкнуть оттуда.

Отрывок из ленты источникаЧитать у источника: Habr

Эпизод 2. Подсмотрено у мозга: предсказание, азбука, план