Китайская Kimi K3 вышла в лидеры рейтинга ИИ и вызвала у OpenAI разговоры об «ИИ-коммунизме»

Модель китайской компании Moonshot с 2,8 трлн параметров получила открытые веса и показала конкурентную производительность, вызвав резкую реакцию со стороны OpenAI

Китайская компания Moonshot представила открытую модель искусственного интеллекта Kimi K3, которая быстро поднялась на верхние позиции рейтинга Arena. Выход модели усилил конкуренцию между закрытыми коммерческими системами OpenAI и Anthropic и открытыми ИИ-моделями.

Kimi K3 относится к моделям большого масштаба: она включает 2,8 трлн параметров, поддерживает работу с текстом и изображениями и рассчитана на контекстное окно примерно в 1 млн токенов. При этом разработчики заявляют о высокой скорости работы и конкурентной производительности по сравнению с другими моделями сопоставимого уровня.

Одной из особенностей Kimi K3 стала архитектура Kimi Delta Attention (KDA), предназначенная для более эффективной работы с длинными запросами. В современных больших языковых моделях используется механизм внимания (attention), который позволяет системе учитывать связи между разными частями текста, но при увеличении длины контекста растёт объём промежуточных данных, необходимых для работы модели.

KDA использует гибридный подход: вместо постоянного увеличения памяти для всего контекста модель сочетает 3 состояния сжатого представления информации и одно состояние полного доступа к данным. Это позволяет сохранять краткие «конспекты» о важных фрагментах диалога, одновременно периодически обращаясь к полному представлению контекста. Такой подход снижает нагрузку на механизм KV cache — специальную область памяти, где модель хранит уже обработанную информацию, чтобы не пересчитывать её заново при каждом новом шаге.

При этом оптимизация памяти не означает автоматического снижения всех аппаратных затрат модели. В Kimi K3 также используется технология WideEP, связанная с распределением вычислений между ускорителями, поэтому общий объём используемой высокоскоростной памяти HBM может оставаться значительным.

Рост открытых моделей вызвал реакцию со стороны конкурентов. Дин Болл (Dean W. Ball), руководитель направления стратегического развития OpenAI, заявил в социальной сети X, что распространение открытых ИИ-моделей может привести к сценарию, который он назвал «полным ИИ-коммунизмом», где искусственный интеллект будет рассматриваться как общественное благо, а не коммерческий продукт. Он также раскритиковал китайские открытые модели, назвав их подход «стороной замедления для крупных инвестиций в вычислительную инфраструктуру».