Не нужны ни гигабайты памяти, ни дорогущие ускорители: энтузиаст запустил ИИ-модель с 28,9 миллионами параметров на контроллере ESP32 за 10 долларов

У него всего 16 МБ флеш-памяти

Украинский разработчик Slava S (slvDev) показал, что запуск локальной языковой модели возможен даже на сверхдешевом микроконтроллере. В рамках проекта ESP32-AI ему удалось запустить ИИ прямо на ESP32-S3 ценой около 10 долларов. Причем все получилось без подключения к интернету и облачным сервисам.

На первый взгляд задача кажется почти невозможной. ESP32-S3 располагает всего 512 КБ встроенной оперативной памяти (SRAM), 8 МБ PSRAM и 16 МБ флеш-памяти. Обычно таких ресурсов недостаточно даже для самых компактных языковых моделей.

Чтобы обойти это ограничение, разработчик применил архитектурный подход Per-Layer Embeddings, который используется в семействе моделей Google Gemma. После квантования модели до 4 бит ее размер удалось уменьшить до 14,9 МБ. Самую объемную таблицу, содержащую около 25 миллионов параметров, разместили во флеш-памяти, а память SRAM использовалась исключительно для вычислений. Благодаря этому требования к оперативной памяти удалось резко снизить.

Используемая модель насчитывает 28,9 миллиона параметров и обучена на датасете TinyStories. Она умеет генерировать лишь короткие художественные тексты и не предназначена для общения, написания кода или поиска фактов. Поэтому проект скорее демонстрирует технические возможности современных архитектур, чем претендует на роль полноценной замены крупных языковых моделей.

По мнению автора, подобный подход может оказаться востребованным в автономных устройствах, где важно обрабатывать данные локально. Например, бытовая техника, промышленные контроллеры или различные встраиваемые системы смогут использовать искусственный интеллект без постоянного подключения к облачным сервисам.

Использованный принцип многоуровневого хранения данных может оказаться полезным и для будущих серверных ИИ-систем, где сейчас активно изучается возможность хранения части моделей на высокоскоростной флеш-памяти вместо дорогостоящей оперативной памяти.