Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention
Гибридные модели обещают простую вещь. Память под контекст перестаёт расти линейно с его длиной, значит длинный контекст дешевеет, значит на ту же карту влезает больше пользователей. Звучит разумно, но я решил проверить…