DeepSeek-V4.1-Flash получила 552 млрд параметров и контекст до 1 млн токенов

DeepSeek в 4 раза сократила память для миллионного контекста новой модели и в 8 раз меньше постоянного хранилища

DeepSeek представила архитектуру DeepSeek-V4.1-Flash, ориентированную на работу с очень длинными контекстами и ИИ-агентами, которые на протяжении работы над объёмной задачей постоянно обрабатывают большие объёмы входных данных. Модель имеет 552 млрд параметров, поддерживает текст и изображения и может работать с контекстом до 1 млн токенов. При этом её кэш занимает около 890 байт на токен — в 4 раза меньше, чем у DeepSeek-V4-Flash, а объём постоянно сохраняемого кэша удалось сократить в 8 раз.

Проблема, которую решает DeepSeek, возникает из-за механики работы моделей с длинным контекстом. KV-кэш хранит промежуточные данные уже обработанных токенов, чтобы системе не приходилось вычислять их заново, но при больших объёмах контекста он начинает занимать значительную часть быстрой памяти HBM, а сохранение кэша для повторного использования требует SSD или оперативной памяти и высокой пропускной способности при переносе данных. В результате даже снижение вычислительной нагрузки не всегда позволяет пропорционально уменьшить стоимость работы длинноконтекстных агентов.

В DeepSeek-V4.1-Flash для этого переработали сразу несколько уровней системы. Архитектура Causal Encoder-Decoder позволяет при первоначальной обработке запроса активировать около 8 млрд параметров на токен вместо 16 млрд при последующей генерации. Механизм Compressed Sparse Attention 2 повторно использует часть KV-кэша между слоями модели, а его данные дополнительно хранятся в формате FP4. Для постоянно сохраняемого кэша используется механизм SWA Bounded Replay: вместо хранения всех необходимых промежуточных состояний система при необходимости восстанавливает их повторным вычислением небольшого участка контекста.

Модель предварительно обучали на мультимодальном массиве объёмом 45 трлн токенов, после чего дообучали для задач рассуждения, программирования и работы в качестве агента. По заявлению DeepSeek, базовая версия V4.1-Flash при 1/3 общего числа параметров и 1/4 активируемых параметров показывает результаты на уровне DeepSeek-V4-Pro-Base и превосходит её на 5–10% на части отложенных тестов. На агентских тестах модель сопоставима с рядом закрытых передовых моделей, хотя авторы признают сохраняющийся разрыв на научных задачах, требующих экспертных знаний.

Главный результат DeepSeek-V4.1-Flash в том, что рост длины контекста перестаёт так сильно увеличивать стоимость его обслуживания. По расчётам авторов, увеличение контекста в 256 раз — с 4 тыс. до 1 млн токенов — повышает вычисления на один генерируемый токен лишь на четверть. В сочетании с сокращённым KV-кэшем это должно сделать длительные агентские сценарии заметно дешевле в развёртывании и позволить использовать их в более широком круге практических задач.