Нейронные сети нетрадиционного квантования

Ещё пару лет назад мысль о полноценной 27B модели на обычном ноутбуке звучала как шутка: нужна была либо мощная видеокарта, либо максимально урезанные веса и небольшой контекст.

Пока индустрия оттачивала классическое low-bit квантование, отдельные команды экспериментировали с куда более радикальным подходом: вообще отказаться от аппроксимации весов и собрать сеть буквально на нескольких значениях. Звучит как безумие, хотя на практике (далеко не сразу) это сработало. Но обо всём по порядку.