"Сбер" открывает разработчикам новые модели для работы с голосом

Модели уже доступны на GitVerse и Hugging Face для свободного использования разработчиками по всему миру.
"Сбер" выложил в открытый доступ облегченную версию модели GigaChat3.1-Audio-10B и семейство моделей автоматического распознавания речи GigaAM Multilingual.
GigaChat3.1-Audio-10B - большая языковая модель, которая обрабатывает аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Модель распознает интонацию говорящего и определяет, с позитивной или негативной эмоцией произнесена реплика - по характеристикам голоса и нюансам произношения. Она способна обрабатывать записи длиной до трех часов и ориентироваться внутри них: находить момент, где обсуждался конкретный вопрос, пересказывать отдельный отрезок или выдавать саммари всей записи со ссылками на таймкоды. Модель также различает в записи спикеров. Эти возможности можно использовать для разбора совещаний и звонков, навигации по записям, протоколирования.
GigaAM Multilingual - семейство моделей автоматического распознавания речи, первая российская открытая модель, работающая с несколькими языками, и лучшее из открытых решений по качеству распознавания речи на русском.
Фото компании. GigaAM Multilingual — семейство моделей автоматического распознавания речи, первая российская открытая модель, работающая с несколькими языками
Антон Фролов, старший вице-президент, руководитель блока "Развитие генеративного ИИ" "Сбербанка": "Голос - самый естественный способ общения с технологией, но и самый требовательный: любая ошибка в распознавании или неверно считанная эмоция сразу разрушает доверие к ассистенту. Поэтому мы считаем аудио точкой роста для рынка ИИ-помощников. Запуская эти модели в открытый доступ, мы даем мощный инструмент разработчикам и ученым. От синхронного голосового перевода до сервисов для людей с нарушениями речи - спектр применений у голосовых технологий очень широкий. А мультиязычность и возможность легкого обучения другим языкам открывают для них и международные перспективы".
Что получат разработчики На основе GigaChat3.1-Audio-10B можно создавать:
- сервисы транскрибации;
- тренажеры произношения;
- инструменты для оценки качества озвучки;
- голосовые переводчики с пониманием контекста;
- сервисы пересказа длинных записей.
GigaAM Multilingual по замерам допускает в 1,5-2 раза меньше ошибок, чем ближайшие конкуренты.
Модель поддерживает русский, английский, кыргызский, казахский и узбекский языки и доступна в двух версиях - компактной, которая работает на обычных процессорах, и флагманской, обеспечивающей более высокое качество распознавания.
Подойдет для кол-центров и голосовых ассистентов, расшифровки встреч, интервью и подкастов, голосового ввода в приложениях и автосубтитров.
Обе модели прошли предварительное обучение на большом числе языков, поэтому их можно быстро дообучить под дополнительные, в том числе языки стран СНГ. Для этого достаточно нескольких десятков часов размеченных аудиозаписей.
Научные статьи о новых моделях приняты на Interspeech 2026 - одну из ведущих международных конференций по речевым технологиям.
Обновленная GigaChat Audio уже работает и внутри ИИ-помощника "ГигаЧат".