Transformer — в с ё. Какие архитектуры языковых моделей работают за пределами привычного GPT
Как многие уже слышали, в сентябре 2026 года TypeSafe AI представила Jev. Это модель, которая вообще не умеет генерировать текст и вместо этого принимает описание ситуации и возвращает структурированные решения с вероятностями. Разработчики назвали новый класс System One и заявили об ускорении в десятки раз на задачах автоматизации.
Впрочем, Jev не претендует на замену универсальных LLM. Да и подробности её внутренней архитектуры пока не раскрыты.
Тем не менее, кейс показательный: индустрия начинает отходить от представления, что любая интеллектуальная задача требует большой языковой модели, последовательно генерирующей токены. Причём эксперименты идут сразу на нескольких уровнях — от устройства нейросетевых блоков до самого принципа генерации и формата ответа.
GPT-подобные Transformer никуда не исчезли, на них по-прежнему построена значительная часть современных LLM. Но вместе с классикой LLM уже работают рекуррентные модели, state-space-архитектуры, гибриды с линейным attention и диффузионные генераторы текста. Некоторые используются в коммерческих продуктах, другие постепенно выходят за пределы исследовательских лабораторий.
Их и разберём в этой статье. Также обсудим будущее ИИ-систем и оценим вероятность сохранения монополии за архитектурой GPT.
Что там по будущему?
Отрывок из ленты источникаЧитать у источника: Habr
