Inception выпустила Mercury 3, диффузионную LLM со скоростью 1 068 токенов в секунду

Самая быстрая языковая модель на рынке вышла вчера и стоит 10 центов за миллион токенов. Inception уверяет, что её диффузионная Mercury 3 выдаёт больше тысячи токенов в секунду и при этом умнее Claude Haiku 5.5.

Мы проверили, что от этих обещаний остаётся, когда модель попадает в настоящий агентный цикл. Спойлер: скорость падает в пять раз.