Перейти к содержимому
SBER 288,19 ₽ 0,16% рост за прошлую сессиюIMOEX 2 351,54 0,07% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Transformer — в с ё. Какие архитектуры языковых моделей работают за пределами привычного GPT

Как многие уже слышали, в сентябре 2026 года TypeSafe AI представила Jev. Это модель, которая вообще не умеет генерировать текст и вместо этого принимает описание ситуации и возвращает структурированные решения с вероятностями. Разработчики назвали новый класс System One и заявили об ускорении в десятки раз на задачах автоматизации.

Впрочем, Jev не претендует на замену универсальных LLM. Да и подробности её внутренней архитектуры пока не раскрыты.

Тем не менее, кейс показательный: индустрия начинает отходить от представления, что любая интеллектуальная задача требует большой языковой модели, последовательно генерирующей токены. Причём эксперименты идут сразу на нескольких уровнях — от устройства нейросетевых блоков до самого принципа генерации и формата ответа.

GPT-подобные Transformer никуда не исчезли, на них по-прежнему построена значительная часть современных LLM. Но вместе с классикой LLM уже работают рекуррентные модели, state-space-архитектуры, гибриды с линейным attention и диффузионные генераторы текста. Некоторые используются в коммерческих продуктах, другие постепенно выходят за пределы исследовательских лабораторий.

Их и разберём в этой статье. Также обсудим будущее ИИ-систем и оценим вероятность сохранения монополии за архитектурой GPT.

Что там по будущему?

Отрывок из ленты источникаЧитать у источника: Habr

Transformer — в с ё. Какие архитектуры языковых моделей работают за пределами привычного GPT