Перейти к содержимому
SBER 298,90 ₽ 1,14% ростIMOEX 2 495,37 0,75% рост
·Технологии·источник: Habr·1 мин

Concertina: как сложить Qwen3-4B в два раза обогнать модель, обученную на 36 трлн токенов

Исследователи предложили способ сжать большую языковую модель почти вдвое и сохранить около 85% ее качества, не тратя ресурсы на обучение с полного нуля. Полученная модель на 2,27 млрд параметров прошла дистилляцию всего на 22 млрд токенов, но в среднем уже обходит Qwen3-1.7B, которую учили на 36 трлн токенов (то есть на объеме данных в 1 600 раз больше).

Метод назвали Concertina, от англ. «концертина» — вид небольшой гармошки, а не чего-то «конкретного». Способ подробно описали в статье «Folding Language Models into Themselves». Готовые веса уже выложены на Hugging Face под свободной лицензией Apache 2.0.

Отрывок из ленты источникаЧитать у источника: Habr

Concertina: как сложить Qwen3-4B в два раза обогнать модель, обученную на 36 трлн токенов