Astra использует рекуррентную глубину — и это осложняет аудит модели
В будущей модели Astra OpenAI использует архитектурный прием recurrent depth, также известный как looped transformer. Вместо того чтобы каждый слой обрабатывать вход один раз, модель многократно прогоняет представление через одни и те же вычислительные блоки перед генерацией следующего токена. Это позволяет увеличить «глубину вычислений» без пропорционального наращивания числа параметров. У подхода есть два очевидных преимущества. Меньшая по размеру модель может выполнять больше вычислений над с