20 ГБ и ноутбук: Thinking Machines выпустила ИИ-модель для слабого компьютера
Inkling 2 Mini содержит 26,4 млрд параметров, но для обработки каждого токена активирует только часть из них
Thinking Machines Lab, основанная бывшими сотрудниками OpenAI, представила Inkling 2 Mini — открытую модель искусственного интеллекта, рассчитанную на программирование, работу с инструментами и длительные многоэтапные задачи. Разработчики утверждают, что она превосходит другие открытые модели с менее чем 100 млрд параметров в ряде тестов программирования. Например, на DeepSWE v1.1 модель набрала 48,2%, а на Vals Index v2.2 — 46,5%.
Главная особенность Inkling 2 Mini — архитектура looped transformer, в которой средние слои нейросети повторно обрабатывают каждый входящий токен. Модель состоит из 24 слоёв, разделённых на 4 блока по 6 слоёв. Первые и последние 6 слоёв выполняют вычисления по одному разу, а 2 средних блока проходят обработку трижды. Это позволяет увеличить глубину вычислений без пропорционального увеличения числа параметров. Архитектура относится к классу Mixture of Experts (MoE, «смесь экспертов»): из общих 26,4 млрд параметров активны 3,4 млрд, а с учётом повторных проходов через слои объём активируемых весов составляет 5,4 млрд на токен.
Повторная обработка позволяет модели выполнять дополнительные вычисления до того, как она сформирует ответ. В обычных LLM-моделях значительная часть многоэтапных рассуждений проявляется в виде цепочки мыслей (Chain of Thought, CoT) — последовательности промежуточных рассуждений, которую можно анализировать. В Inkling 2 Mini часть вычислительной работы происходит внутри нейросети, поэтому для решения задачи ей требуется меньше токенов. Это особенно важно для программирования и других задач, в которых ИИ должен выполнять длинные последовательности действий.
В отдельной исследовательской версии с переменным числом повторных проходов Thinking Machines проверила, как архитектура влияет на способность решать задачи без отображения промежуточных рассуждений. При увеличении числа проходов с 1 до 3 временной горизонт таких вычислений вырос с 16 до 37 секунд. На тесте последовательных логических операций улучшение сохранялось вплоть до 10 проходов, хотя модель обучали максимум на 5. При этом цепочки рассуждений становились короче, но, по оценке разработчиков, оставались читаемыми. Компания также не обнаружила заметного ухудшения результатов тестов на скрытое вредоносное поведение при увеличении числа проходов.
Весовая часть Inkling 2 Mini занимает около 20 ГБ. Разработчики продемонстрировали работу модели без подключения к интернету на MacBook Pro: она за несколько минут создала работающий авиасимулятор. Для запуска на компьютерах Mac компания указывает минимальное требование в 32 ГБ оперативной памяти.
Inkling 2 Mini распространяется с открытыми весами: их можно скачать и использовать для локального запуска, а также адаптировать модель под собственные задачи. Она доступна через Hugging Face. При этом разработчики отмечают ограничения: модель уступает более крупным системам в некоторых сложных задачах на рассуждение и не является лучшим выбором для многоэтапного диалога с большим количеством одновременно заданных инструкций. Результаты тестирования, включая заявления о лидерстве среди открытых моделей своего размерного класса, представлены самой Thinking Machines Lab и пока не являются независимым подтверждением.
Отрывок из ленты источникаЧитать у источника: iXBT
