Без лишних слов: стартап Thinking Machines Lab представил свою первую модель Inkling на 975-миллиардов параметров

Во время обучения она посчитала рассуждения «пустой тратой ресурсов» и отключила их
Стартап Thinking Machines Lab, основанный бывшими руководителями OpenAI, представил свою первую универсальную модель искусственного интеллекта Inkling. Компания сделала её открытой: разработчики и организации могут скачать модель, запускать её на собственной инфраструктуре и дообучать под конкретные задачи.
По словам компании, Inkling создавалась не как модель, которая обязательно занимает первые места в популярных тестах, а как удобная основа для дальнейшей настройки. Разработчики утверждают, что по уровню возможностей она сопоставима с наиболее сильными открытыми моделями, которые сегодня выпускают китайские компании, однако главным преимуществом считают гибкость и возможность адаптации.
Inkling построена на архитектуре Mixture of Experts («смесь экспертов»), при которой во время выполнения каждой задачи активируется лишь часть параметров модели. Всего модель содержит 975 млрд параметров, но одновременно использует около 41 млрд, что позволяет снизить вычислительные затраты без существенной потери качества. Она поддерживает контекст объёмом до 1 млн токенов.
Модель обучалась с нуля работать не только с текстом, но также с аудио и видео, а разработчики заявляют о развитых возможностях логического вывода и программирования. Для организаций Inkling доступна через собственную платформу Tinker, предназначенную для дообучения моделей на корпоративных данных. Одновременно компания анонсировала Inkling-Small — более компактную версию с 12 млрд активных параметров, которая отличается меньшей стоимостью эксплуатации и более высокой скоростью работы.
Thinking Machines Lab также сообщила, что во время разработки использовала саму Inkling для её последующего дообучения и улучшения — всё чаще новые модели искусственного интеллекта применяются для совершенствования следующих версий самих себя.
Во время обучения разработчики столкнулись с необычным эффектом: Inkling самостоятельно перестала формулировать промежуточные рассуждения на естественном языке, посчитав такую форму объяснений лишними вычислительными затратами. Позднее эту возможность вернули, чтобы сделать работу модели более понятной и прозрачной для пользователей.
Thinking Machines Lab была основана в феврале 2025 года выходцами из OpenAI, включая бывшего технического директора и временно исполнявшую обязанности генерального директора компании Миру Мурати, одного из сооснователей OpenAI Джона Шульмана, участвовавшего в создании ChatGPT, а также бывшего вице-президента OpenAI Лилиан Вэн, курировавшую исследования в области безопасности ИИ и робототехники.
В прошлом году стартап привлёк рекордные для посевного этапа инвестиции — $2 млрд при оценке компании в $12 млрд. До выхода Inkling компания уже представила платформу Tinker для настройки моделей, продемонстрировала систему голосового взаимодействия с ИИ и опубликовала несколько собственных исследований в области машинного обучения.
Выпуск Inkling стал первым полноценным выходом Thinking Machines Lab на рынок больших языковых моделей. Компания последовательно продвигает идею, что технологии искусственного интеллекта не должны оставаться под контролем ограниченного числа разработчиков, а должны быть доступны для самостоятельного развёртывания, настройки и обучения на собственных данных.
Это отрывок статьи. Полную версию читайте на сайте источника по ссылке ниже.
Источник: iXBT