AMD купила разработчика ИИ-чипов Taalas: компания намерена ускорить инференс без традиционной высокоскоростной памяти
Технология стартапа позволяет встраивать параметры нейросети непосредственно в микросхему. AMD планирует использовать её вместе с ускорителями Instinct
AMD завершила приобретение канадского разработчика специализированных ИИ-чипов Taalas. По данным сделки, её стоимость может достичь $2,9 млрд, включая $1,4 млрд условных выплат. AMD рассчитывает встроить разработки стартапа в дорожную карту собственных ускорителей и создавать на их основе системные решения совместно с GPU Instinct.
Taalas разрабатывает микросхемы, в которых веса нейросетевой модели физически закладываются в структуру самого чипа. Такой подход объединяет хранение параметров и вычисления на одном кристалле. Он позволяет обойтись без традиционной высокоскоростной памяти, к которой обычно обращаются ускорители при обработке запросов, и сложных решений по корпусированию микросхем.
В феврале стартап представил первый такой процессор — HC1, в который была встроена модель Llama 3.1 8B. По собственным замерам Taalas, чип генерировал около 17 000 токенов в секунду. Компания заявляла, что это почти в 9 раз быстрее результата Cerebras на тот момент. Однако у архитектуры есть существенное ограничение: сменить встроенную модель программным обновлением нельзя — для этого требуется изготовить новую микросхему. По данным исходного материала, такой процесс занимает около 2 месяцев.
AMD намерена использовать технологию Taalas не вместо GPU Instinct, а в дополнение к ним. Специализированные чипы смогут выполнять инференс — запуск уже обученных моделей и генерацию ответов — для конкретных нейросетей, тогда как ускорители Instinct будут частью общей вычислительной системы. В официальном сообщении AMD также упоминает процессоры EPYC, программную платформу ROCm и стоечное решение Helios как элементы своей инфраструктуры для ИИ.
Покупка расширяет портфель AMD в области специализированных решений для инференса. При этом компания пока не раскрывает, в каких именно будущих ускорителях появится технология Taalas и когда такие продукты выйдут на рынок.
Отрывок из ленты источникаЧитать у источника: iXBT
