«ГигаЧат» Сбера научился распознавать эмоции и анализировать длинные аудиозаписи

Одновременно разработчикам стали доступны открытые модели для распознавания и обработки речи на нескольких языках

Обновлённая версия ИИ-помощника «ГигаЧат» получила аудиомодель GigaChat Audio, которая умеет работать с голосовыми сообщениями и аудиозаписями без предварительного перевода речи в текст. Об этом сообщила пресс-служба Сбера.

Изображение сгенерировано нейросетью ChatGPT Изображение сгенерировано нейросетью ChatGPT Нейросеть анализирует интонацию, определяет эмоциональную окраску речи и учитывает её при формировании ответа. Также модель способна обрабатывать записи продолжительностью до трёх часов, находить нужные фрагменты по запросу, создавать краткие пересказы с таймкодами и различать участников разговора. Кроме того, «ГигаЧат» может запоминать важные сведения из голосового общения и использовать их в следующих диалогах, при этом пользователь сохраняет полный контроль над этой функцией.

Одновременно Сбер открыл разработчикам доступ к облегчённой версии модели GigaChat3.1-Audio-10B, поддерживающей русский, английский и другие языки. Вместе с ней опубликовано семейство моделей распознавания речи GigaAM Multilingual для работы с несколькими языками, включая русский, английский, казахский, киргизский и узбекский. Решения предназначены для создания сервисов транскрибации, голосовых ассистентов, автоматических субтитров и других речевых приложений.