Чип OpenAI разогнал Kimi K2.5 почти до 700 токенов в секунду

В июне OpenAI и Broadcom представили Jalapeño, первый собственный чип OpenAI для инференса языковых моделей. Тогда компании рассказывали в основном про архитектуру и обещали начать развёртывание до конца года. Теперь появились первые результаты.

На Kimi K2.5 чип выдаёт 694 токена в секунду на пользователя против 182 у топового железа NVIDIA текущего поколения. На DeepSeek R1 разрыв получился ещё немного больше: 700 против 169 токенов в секунду.