Перейти к содержимому
SBER 295,57 ₽ 1,42% снижениеIMOEX 2 475,70 1,42% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?

ESP32-S3 — микроконтроллер за несколько сотен рублей: два ядра Xtensa LX7 на 240 МГц и 512 КБ внутренней SRAM. Языковые модели на нём уже запускали: крошечная stories260K, 260 тысяч параметров, но это настоящая Llama-2 с вниманием, RoPE и SwiGLU. Известные запуски дают около двух десятков токенов в секунду.

Я взял ту же модель и тот же чип и выжал из них 406 токенов в секунду. Это в 18 раз быстрее наивной версии на одном ядре. Никакого разгона и внешних ускорителей: только квантование, векторные инструкции, второе ядро и много возни с памятью.

В этой статье мы разберём, как устроен этот разгон по шагам: где модель держать, как заставить работать редкие SIMD-инструкции ESP32-S3, почему после ускорения матриц узким местом стало внимание и как убедиться, что после всех оптимизаций модель выдаёт тот же текст, что и эталон.

Отрывок из ленты источникаЧитать у источника: Habr

Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?