Анализ систем автоматического распознавания речи (ASR)

Фундаментальная эпистемология шума в автоматическом распознавании речи

На протяжении последних десятилетий системы автоматического распознавания речи (ASR) проектировались, обучались и оценивались в преимущественно идеализированных лабораторных или студийных условиях. В таких средах соотношение сигнал/шум (SNR) остается стабильно высоким, акустические реверберации минимальны, а речь диктора характеризуется гипертрофированной артикуляционной четкостью. По мере интеграции речевых технологий в реальные бизнес-процессы — от транскрибации совещаний в гулких переговорных комнатах до анализа телефонных звонков в колл-центрах с высоким уровнем сетевого джиттера — фокус фундаментальных и прикладных исследований радикально сместился в сторону робастности. Робастность в данном контексте определяется как алгоритмическая способность акустических и языковых моделей сохранять высокую точность транскрибации при наличии деструктивных акустических помех, реверберации, наложения голосов (overlapping speech) и сетевых искажений.¹

Основной метрикой оценки качества систем распознавания традиционно выступает Word Error Rate (WER). Математически WER вычисляется как отношение суммы замен (Substitutions), вставок (Insertions) и удалений (Deletions) к общему количеству слов в эталонном транскрипте, созданном человеком.³ В условиях чистого, подготовленного звука современные нейросетевые архитектуры достигли феноменальных показателей WER, опустившись ниже психологической отметки в 2-3%, что сопоставимо с уровнем человеческого восприятия или даже превосходит его на рутинных задачах.⁵ Тем не менее, при внедрении фонового шума — будь то звуки улицы, работающего промышленного оборудования, перекрестные разговоры коллег или даже специфические акценты — производительность базовых моделей претерпевает катастрофическую деградацию.

Акустический шум провоцирует фундаментальную алгоритмическую неопределенность. При столкновении с зашумленными спектрограммами, вероятностные модели ASR вынуждены балансировать между двумя крайностями. С одной стороны, модель может классифицировать зашумленный фрагмент как неречевой акустический мусор, что приводит к пропуску целых фраз и резкому увеличению показателя Deletions. С другой стороны, пытаясь интерпретировать сложные шумовые паттерны как фонемы, модель начинает генерировать несуществующие слова, что приводит к всплеску показателя Insertions и формированию так называемых галлюцинаций.⁶ Галлюцинации представляют собой наиболее опасный тип ошибок в корпоративных средах, так как они не просто скрывают информацию, но активно генерируют ложные смыслы.

Глубокий анализ существующих исследований демонстрирует концептуальный сдвиг в методологии борьбы с шумом. В системах предыдущих поколений активно применялись дискретные модули шумоподавления (Speech Enhancement), функционирующие как фронтенд-фильтры перед подачей очищенного сигнала на акустическую модель. Однако эмпирические данные показали, что независимое шумоподавление часто вносит нелинейные фазовые искажения и артефакты обработки (так называемый «speech distortion»), которые деградируют работу ASR сильнее, чем сам оригинальный шум.¹ Современные сквозные (End-to-End) модели обучаются на колоссальных объемах сырых аудиоданных. Они не пытаются механически отфильтровать шум; вместо этого их внутренние репрезентативные слои кодируют тип фонового шума и используют его как контекстное условие для вероятностного распознавания речи.⁸

Многомерность метрик: От сырого WER к оценке диаризации в шуме

Оценка производительности генеративных моделей на зашумленных аудио требует более изощренного математического и статистического аппарата, чем стандартный WER. Различия в форматировании, пунктуации, чувствительности к задержкам и необходимости разделения спикеров диктуют необходимость применения составных метрик, каждая из которых подсвечивает определенный аспект устойчивости системы к помехам.

Анализ ведущих индустриальных бенчмарков выявляет фундаментальное разделение метрик на Raw WER (сырой коэффициент ошибок) и Formatted WER (или FER — форматированный коэффициент ошибок). Raw WER применяется после жесткой алгоритмической нормализации текста: удаления всей пунктуации, приведения всех символов к нижнему регистру и конвертации чисел, дат и аббревиатур в стандартизированный текстовый формат.⁹ Данная метрика позволяет оценить чисто фонетическое ядро модели. В свою очередь, Formatted WER оценивает способность модели корректно расставлять знаки препинания, капитализировать имена собственные и форматировать специфические термины, опираясь исключительно на интонационные и акустические паттерны, пробивающиеся сквозь шум. В реальных корпоративных сценариях, таких как юриспруденция или медицина, Formatted WER является критическим показателем, поскольку неверно интерпретированный регистр или пропущенная запятая в дозировке препарата могут иметь фатальные последствия.¹⁰

В сценариях с множественными спикерами, находящимися в зашумленном помещении (например, переговорные комнаты или званые ужины), классический WER теряет свою репрезентативность. Для таких задач были введены метрики tcpWER (time-constrained minimum permutation Word Error Rate) и DA-WER (Diarization-Attributed Word Error Rate).¹¹ Эти метрики неразрывно связывают точность транскрибации с точностью диаризации (DER — Diarization Error Rate). Если акустическая модель идеально распознала произнесенный текст сквозь гул толпы, но из-за шумовых помех приписала эту фразу неверному спикеру, метрика tcpWER жестко пенализирует этот результат, рассматривая его как полную алгоритмическую неудачу.

Академические бенчмарки на данных со сложной акустикой: LibriSpeech и Open ASR

Для объективной и независимой оценки моделей научное сообщество использует стандартизированные корпуса аудиоданных. Исторически наиболее значимым из них является LibriSpeech — корпус, содержащий тысячи часов прочитанной аудиокнижной речи. Корпус искусственно разделен на подмножества test-clean (чистая речь) и test-other (речь с выраженными диалектными акцентами, сложной нетипичной артикуляцией и нестандартными акустическими условиями записи). Подмножество test-other исторически служит базовым и наиболее доступным индикатором робастности модели к акустическим девиациям.¹³ В рамках платформы Hugging Face Open ASR Leaderboard ведется непрерывный мониторинг производительности новейших открытых архитектур на этих и других данных.¹⁴

В таблице ниже представлены актуальные данные тестирования передовых моделей (State-of-the-Art) на подмножествах LibriSpeech, демонстрирующие прогресс в обработке нестандартной акустики.

Анализ данной таблицы обнажает структурный сдвиг в проектировании моделей. Интеграция больших языковых моделей (LLM) в качестве декодеров (как в системах Canary Qwen и FireRedASR) позволяет снизить ошибку на сложных данных test-other до уровня 2.5-3.5%. Фундаментальная логика заключается в том, что при сильном акустическом искажении аудиосигнал может быть безвозвратно утерян на физическом уровне. В таких случаях чисто акустическая ASR гарантированно выдаст фонетический мусор. Однако модель с LLM-декодером, обладая колоссальным параметрическим пониманием семантики, синтаксиса и вероятностного распределения языка, способна логически «додумать» и восстановить пропущенное или искаженное шумом слово, опираясь на широкий контекст предшествующей беседы.²³

Тем не менее, модель Samba-ASR демонстрирует, что отказ от трансформерного механизма внимания (Attention) в пользу рекуррентных пространств состояний (State-Space Models) обеспечивает еще более плавное сглаживание локальных шумовых всплесков, устанавливая новый академический рекорд в 2.48% WER на test-other.⁵

Высший уровень сложности: Вызовы CHiME и транскрибация дальнего поля

Академические метрики на прочитанной речи не отражают подлинного хаоса реальных акустических сред. Серия международных соревнований CHiME (Computational Hearing in Multisource Environments) представляет собой наивысший из существующих уровней сложности в области распознавания и разделения речи. В отличие от подготовленных студийных записей, в рамках CHiME исследуется абсолютно спонтанная человеческая беседа (динамичные офисные совещания, хаотичные званые ужины), записанная на удаленные массивы микрофонов (Far-Field). Данные записи изобилуют интенсивным фоновым шумом, отражениями звука от стен (реверберацией) и, что наиболее критично, постоянным перекрытием голосов спикеров.¹¹

В соревнованиях CHiME-7 (2023 год) и CHiME-8 (2024-2025 годы) исследователям были предложены датасеты, записываемые в экстремальных условиях:

Анализ результатов CHiME-7 DASR (Distant Automatic Speech Recognition) выявляет фундаментальную тенденцию: несмотря на огромный академический прогресс в обучении нейросетевых фильтров разделения звука (Neural Speech Separation), все ведущие исследовательские команды по-прежнему полагаются на детерминированный алгоритм Guided Source Separation (GSS) на этапе фронтенда. Нейросетевые фильтры (например, на базе архитектур Conv-TasNet) оказались неспособны надежно справляться с вариативными геометрическими конфигурациями реальных помещений и переменным числом микрофонов, часто создавая артефакты, уничтожающие полезную речь.¹¹

Ниже представлены агрегированные результаты команд в соревновании CHiME-7 DASR, оцениваемые по метрике DA-WER (макро-усреднение по сценариям):

Специфика данных результатов заключается в том, что открытая генеративная модель Whisper Large, при запуске «из коробки» на сыром многоканальном аудио, показала катастрофический результат в 77.4% DA-WER.²⁵ Это неопровержимо доказывает критически важный вывод: генеративные модели ASR, обученные на гигантских корпусах чистых интернет-данных, не обладают встроенной физической способностью к пространственному разделению перекрывающихся голосов. Без внешнего модуля целевой диаризации и направленного усиления сигнала (Beamforming), их способность к транскрибации в условиях реальной переговорной комнаты полностью разрушается из-за информационной перегрузки энкодера.

Для успешной диаризации в таких условиях применяется метрика DER (Diarization Error Rate). Базовые результаты CHiME-7 показывают, насколько сильно шум влияет на идентификацию спикера:

(Данные из официального бейслайна CHiME-7: ²⁶)

Соревнование CHiME-8 развило эти идеи, введя новую задачу NOTSOFAR-1, ориентированную исключительно на сложные офисные совещания с одним круговым микрофоном (имитация реальных устройств для конференц-связи).

(Сводка результатов CHiME-8 NOTSOFAR-1: ¹¹)

Феномен оценки CHiME-8 заключается в неожиданной корреляции между качеством транскрипции и полезностью текста при его последующей обработке с помощью LLM (например, для составления резюме встречи). Исследователи обнаружили, что при использовании мощных языковых моделей для генерации саммари (Summarization), системы ASR с чудовищным tcpWER более 50% справлялись с итоговой задачей практически на том же уровне, что и системы с tcpWER 11%.¹¹ Это означает, что генеративные LLM обладают колоссальным потенциалом к подавлению транскрипционного шума на глубоком семантическом уровне: даже если акустическая модель выдает фонетический мусор с множественными пропусками, языковая модель, анализируя обрывки слов, способна реконструировать общий смысл дискуссии. Это открытие ставит под сомнение абсолютную значимость метрики WER в тех корпоративных сценариях, где конечным продуктом является не дословная стенограмма, а семантический экстракт (Action items, Summaries).

Независимый аудит коммерческих API в реальных зашумленных условиях

Академические модели, предоставляемые в виде открытых весов (Open Weights), требуют сложной MLOps-инфраструктуры для развертывания, балансировки нагрузки и управления GPU. В связи с этим, абсолютное большинство бизнес-пользователей полагается на коммерческие облачные API, транслирующие готовые Speech-to-Text решения. Анализ независимых бенчмарков (например, платформы VoiceWriter, тестирующей API на реальных записях TED с наложением интенсивного госпитального шума, акцентов и технической терминологии) выявляет существенные различия между агрессивными рекламными заявлениями компаний и фактической вычислительной производительностью их моделей.⁹

Одной из самых объемных и детализированных оценок является сводный независимый бенчмарк 2024-2025 годов, оценивающий 17 различных систем в условиях реального акустического хаоса:

(Данные сведены из комплексного аудита VoiceWriter и 3Play Media: ⁹)

Представленная таблица обнажает фундаментальную физическую и алгоритмическую закономерность, критически важную для проектирования архитектуры приложений: потоковая транскрибация (Streaming / Real-time) в зашумленных условиях всегда драматически уступает по точности пакетной обработке (Batch). Обращаясь к таблице, можно заметить, что у платформы AssemblyAI показатель WER возрастает с 6.8% до 8.1% при переходе в потоковый режим, у Deepgram — с 7.6% до 9.7%, а у открытой модели Whisper деградация при потоковой передаче достигает катастрофических 12.4% с огромным статистическим разбросом (стандартное отклонение 16.3%).⁹

Физическая причина этого алгоритмического компромисса кроется в доступности временного контекста. Пакетные алгоритмы, загружающие аудиофайл целиком, имеют доступ к так называемому «правому контексту» — будущим словам в аудиозаписи, которые еще не были произнесены в текущий момент времени. Это позволяет механизмам внимания (Self-Attention) заглядывать вперед и разрешать фонетические неоднозначности, вызванные локальными всплесками шума, опираясь на грамматическую структуру всего предложения. Потоковые же системы вынуждены принимать жесткое решение «здесь и сейчас», имея минимальный буфер задержки (часто менее 300 мс), что полностью лишает их возможности семантической самокоррекции на основе будущего контекста. Как следствие, уровень галлюцинаций в потоковых системах в условиях фонового шума возрастает экспоненциально.³¹

Еще одним контринтуитивным открытием данного бенчмарка стало то, что мультимодальные модели общего назначения (Foundation Models), такие как GPT-4o Transcribe и Gemini 2.5 Pro, неожиданно превзошли узкоспециализированные аудио-API (AssemblyAI, Deepgram, Speechmatics) в пакетном режиме. Это эмпирически подтверждает тезис о том, что глубокое языковое моделирование (Language Modeling), обученное на триллионах текстовых токенов, начинает доминировать над акустическим моделированием при работе со сложными, шумными или акцентированными сигналами. Мощная генеративная LLM способна полностью игнорировать акустический мусор и воссоздавать текст исключительно на основе внутренней логики повествования и семантических вероятностей.⁹

Внутренние корпоративные бенчмарки и анатомия маркетингового мифа о «99% точности»

В отличие от независимых академических аудитов, сами коммерческие провайдеры регулярно публикуют собственные бенчмарки. Анализ этих данных показывает, что результаты часто кардинально расходятся с независимыми тестами. Это отклонение обусловлено тем, что вендоры оптимизируют свои архитектуры, датасеты и процедуры нормализации метрик под демонстрацию сильных сторон собственных продуктов.³³

Компания AssemblyAI, продвигающая свою новую архитектуру Universal-3 Pro и Slam-1 (Speech-Language Model), опубликовала сравнительный анализ с конкурентами в различных акустических доменах, выделив специфическую категорию «Noisy» (Зашумленные аудио).⁷

(Внутренние тесты AssemblyAI, обновлено в феврале 2026: ⁷)

Данные внутреннего тестирования демонстрируют четкую парадигму: на акустически чистых записях (вебинары, студийные подкасты) показатели ведущих игроков кучно держатся в пределах 5-11%. Однако при резком переходе к категории «Noisy», базовая архитектура Amazon Transcribe деградирует до неприемлемых 24.73% WER, в то время как гибридная модель от AssemblyAI удерживает показатель ниже 10%. AssemblyAI объясняет такую робастность внедрением архитектуры Slam-1, которая целенаправленно борется с генерацией галлюцинаций. По внутренним оценкам компании, новая архитектура снижает уровень галлюцинаций в шуме на 30% по сравнению с Whisper Large-v3.⁷

В качестве контраргумента, компания Deepgram представляет альтернативные данные, утверждая, что их потоковая модель Nova-3 достигает выдающегося WER в 5.26% (для пакетной обработки) и 6.8% на шумном реальном аудио.³⁴ Стратегия Deepgram сфокусирована не столько на пакетной транскрипции медиа, сколько на ультрабыстрой обработке потокового аудио для агентов искусственного интеллекта и аналитики колл-центров. Их архитектура оптимизирована для устойчивости к узкополосному телефонному шуму (дискретизация 8 кГц), обеспечивая задержку выдачи первого токена (TTFT) менее 300 миллисекунд.³¹ Для достижения объективности при сравнении таких разнонаправленных API эксперты настоятельно рекомендуют использовать стандартизированные библиотеки (например, Python-библиотеку jiwer), которые приводят форматирование текстов от разных вендоров к единому знаменателю перед расчетом метрик, нивелируя влияние пунктуации на итоговый скор.³³

Особого и критического внимания заслуживает позиционирование сервиса Rev AI. Рекламные материалы и блоги компании безапелляционно заявляют о достижении «99% точности» (что эквивалентно WER в 1%), позиционируя этот показатель как безальтернативный эталон для требовательной юридической, судебной и медицинской документации.¹⁰ Однако серия независимых аудитов (включая независимый тест Podcast Challenge и технический анализ от 3Play Media) демонстрирует, что в реальных зашумленных условиях точность Rev AI радикально отличается от заявленной.³⁰ В слепом тестировании WER Rev AI составил 11.1%, что ставит его позади коммерческих API от AssemblyAI (7.3%), Speechmatics (8.3%) и даже открытой модели WhisperX (8.5%).³⁰ Как отмечают аналитики индустрии, заявленная точность в 99% является комбинацией идеализированных студийных тестов и гибридного подхода «Human-in-the-loop» (привлечение живых транскрибаторов для корректировки вывода нейросети), что вводит потребителей в заблуждение относительно реальной вычислительной производительности чистого искусственного интеллекта в шумной среде.³⁷

Анализ специфических акустических векторов деградации (Шумовые профили)

Анализ обширного пула данных выявляет, что термин «акустический шум» является зонтичным концептом и скрывает под собой совершенно различные типы звуковых аномалий, каждая из которых воздействует на топологию нейронных сетей уникальным и непредсказуемым образом.

1. Сетевые искажения и деградация VoIP-коммуникаций

В корпоративных прикладных сценариях (например, системы IVR, автоматическая транскрибация звонков операторов связи) аудиосигнал искажается не только фоновым акустическим окружением говорящего, но и физическим качеством передачи по IP-сетям. Алгоритмы компрессии голоса (кодеки), потеря сетевых пакетов (packet loss) и джиттер (фазовое дрожание при доставке пакетов) необратимо и нелинейно модифицируют спектрограмму звука.² Академические исследования убедительно доказывают, что модель ASR, обученная исключительно на чистой речи (даже с искусственным добавлением экологического белого шума), полностью проваливается при столкновении с сетевыми артефактами. Однако, если в обучающую выборку целенаправленно интегрировать шум, искаженный сетью (noise-network distorted speech), модель становится экстраординарно робастной. В таких специфических условиях метрика WER, а также вспомогательные метрики MER (Match Error Rate) и WIL (Word Information Lost) улучшаются на 60% по сравнению с базовыми моделями.² Интегрированные модели способны выдерживать джиттер на уровне до 20% и потерю пакетов до 15% без малейшего падения точности распознавания, сохраняя стабильную работоспособность при экстремально низком уровне SNR (от 5 дБ и выше).²

2. Демографический шумовой сдвиг: Проблема педиатрической речи

Стандартные ASR-системы испытывают колоссальный дефицит репрезентативности в обучающих данных, что приводит к явлению, при котором детская речь воспринимается алгоритмом как «акустический шум». Анатомия детского голосового аппарата (физически меньшие размеры вокального тракта, высокие форманты), нерегулярность пауз, ложные старты и развивающаяся, нестабильная артикуляция создают акустический профиль, который модели классифицируют как нестандартные помехи.⁴⁰

Масштаб проблемы поражает: генеративная модель Whisper (Large), стабильно показывающая около 3% WER на взрослой четкой речи, демонстрирует скачок до 25% WER при обработке голосов детей младшего возраста в аналогичных акустических условиях — разрыв составляет 22 процентных пункта.⁴⁰ Для преодоления этого барьера исследователи применяют тонкую настройку (Fine-tuning) на ограниченных, но специализированных выборках детской речи. Такой подход позволяет сократить разрыв, снизив WER на 12-30% (а в некоторых лабораторных тестах до 70%), однако базовая проблема экстраполяции акустических признаков для нестандартных демографических групп в ASR остается нерешенной.⁴¹

(Примечание: Абсолютные значения WER сильно зависят от используемого набора данных (LibriSpeech, VOiCES, и т.д.), однако относительная деградация между чистой и шумной/детской речью сохраняется во всех тестах).

3. Биометрическая инвариантность: Шумовое смешение идентичных спикеров

Наиболее редким, но математически показательным случаем шумового «смешения» является дифференциация голосов с генетически идентичными акустико-фонетическими характеристиками — например, у однояйцевых близнецов. В сценариях диаризации и верификации (SS — Same-Speaker vs DS — Different-Speaker) системы ASR сталкиваются с феноменом абсолютной спектральной идентичности.⁴³ Даже в условиях кристально чистого звука метрики Equal Error Rate (EER) составляют порядка 0.17-0.20 для аудиофрагментов длительностью 5-10 секунд. Это указывает на фундаментальную уязвимость акустических энкодеров к генетически обусловленной схожести голосовых трактов. При добавлении минимального фонового шума разделение таких голосов на уровне архитектуры энкодера становится статистически и физически невозможным без использования пространственного разделения сигналов (микрофонных массивов и алгоритмов пеленгации).

Инновационные парадигмы предварительной обработки: От очистки к пониманию

На протяжении десятилетий инженеры в области цифровой обработки сигналов пытались создать идеальный алгоритм шумоподавления, который на входе получал бы грязное аудио, а на выходе формировал идеальную, студийную речь для последующей транскрибации. Данный двухступенчатый подход раз за разом терпел неудачу из-за феномена «Speech Distortion» — агрессивные алгоритмы отсечения частот неизбежно искажали речевые гармоники, что критично для вероятностных моделей ASR, обучающихся на микроструктуре звука.¹ Современная компьютерная наука предлагает два принципиально новых пути обхода этой физической преграды:

1. Глубокая экстракция скрытых активаций (Архитектура Cleancoder). Вместо того чтобы очищать звук в виде физического аудиофайла (WAV/FLAC), новая концептуальная архитектура Cleancoder действует как интеллектуальный фронтенд. Она извлекает скрытые математические активации из внутренних слоев предварительно обученной акустической модели (например, Conformer). Эти абстрактные активации затем передаются в специализированный декодер, который прогнозирует уже «очищенные» многомерные спектрограммы, используемые для итогового распознавания. Внедрение такого подхода, обученного на базе Noisy Speech Database (NSD), показало устойчивое и воспроизводимое снижение тотального WER в условиях интенсивного шума, при этом полностью исключив потерю полезной речевой информации на краях частотного диапазона.⁴⁴
2. Симбиоз распознавания аудиособытий и речи (Архитектура Whisper-AT). Группа исследователей сделала контринтуитивное открытие: мощный энкодер модели Whisper обладает высочайшей внутренней корреляцией с неречевыми звуками (музыкой, шумом улицы, стуком дверей, звоном посуды). Иными словами, внутри сети модель не пытается алгоритмически «заглушить» шум, а активно использует его для контекстуализации происходящего. Опираясь на этот физический факт, была предложена гибридная архитектура Whisper-AT (Audio Tagging), где многомиллиардная базовая модель «замораживается», а поверх ее слоев надстраивается сверхлегковесная нейронная сеть классификации. С увеличением общих вычислительных затрат системы менее чем на 1%, архитектура за один прямой проход распознает не только произнесенный диктором текст, но и тегирует все фоновые аудиособытия. Данный подход философски доказывает, что ASR нового поколения не должны бороться с акустическим шумом — они должны его понимать, семантически классифицировать и использовать как дополнительный канал информации.⁸

Методы постобработки: Ограничения LLM в коррекции галлюцинаций

Когда акустическая модель не справляется с интенсивным шумом и генерирует на выходе «рваный» текст с обилием фонетических ошибок, наиболее очевидным инженерным решением кажется пропустить этот сырой транскрипт через сверхмощную языковую модель (например, GPT-4, Claude или LLaMA) для «умного» исправления грамматических и семантических неточностей. Этот метод получил широкое распространение среди разработчиков-энтузиастов, однако глубокие академические бенчмарки раскрывают его существенные физические и логические ограничения.

Академические тесты в конфигурации «Zero-shot» (когда LLM просят исправить ошибочный текст на лету, без длительного предварительного обучения сети на миллионах пар «ошибка ASR — идеальное исправление») демонстрируют крайне нестабильные результаты. Применение таких моделей, как LLaMA 13B и T5 (0.75B) к зашумленным транскриптам моделей Whisper и WavLM на датасетах CHiME-4 и CV-accent не привело к математически значимому улучшению показателя WER. Более того, в некоторых задокументированных случаях это вызвало еще большую деградацию текста из-за неконтролируемых семантических галлюцинаций самой языковой модели (стандартное отклонение WER в таких экспериментах превысило 10%).⁴⁵ Способность LLM к «спонтанной» и безошибочной коррекции речи (так называемые Emergent abilities) начинает статистически стабильно проявляться только в моделях-гигантах с масштабом свыше 100 миллиардов параметров, что делает этот подход экономически абсолютно нерентабельным для локальных и быстрых систем распознавания потокового звука.⁴⁵

Сводная таблица академического эксперимента по LLM-коррекции на чистых и зашумленных данных (до и после обработки):

(Данные демонстрируют нестабильность Zero-shot LLM коррекции: ²²)

Настоящий технологический успех в интеграции LLM достигается исключительно при комплексном архитектурном подходе (Fine-tuning на уровне векторов). Например, недавние эксперименты показали, что прямое, бесшовное скармливание «сырых» акустических фичей из энкодера WavLM непосредственно во внутренние слои LLM позволило достичь выдающегося WER в 1.96% на чистых данных и 4.18% на экстремально зашумленных данных подмножества test-other из LibriSpeech. Это архитектурное слияние обеспечило абсолютное снижение относительного WER на 38.4% по сравнению с классическим энкодером, работающим в изоляции.¹⁹ Таким образом, простое последовательное приклеивание LLM к текстовому выходу акустической ASR работает плохо, в то время как глубокая нейронная интеграция на уровне абстрактных многомерных векторов (Embeddings) дает беспрецедентный синергетический эффект устойчивости к любому акустическому хаосу.

Источники

1. Time-Domain Speech Enhancement for Robust Automatic Speech Recognition — PMC — NIH, дата последнего обращения: февраля 23, 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12045131/
2. Performance evaluation of automatic speech recognition systems on integrated noise-network distorted speech — Frontiers, дата последнего обращения: февраля 23, 2026, https://www.frontiersin.org/journals/signal-processing/articles/10.3389/frsip.2022.999457/full
3. Word error rate (WER): Definition, & can you trust this metric? — Gladia, дата последнего обращения: февраля 23, 2026, https://www.gladia.io/blog/what-is-wer
4. What is WER and how do I calculate it for ASR models? : r/LocalLLaMA — Reddit, дата последнего обращения: февраля 23, 2026, https://www.reddit.com/r/LocalLLaMA/comments/1nqfazl/what_is_wer_and_how_do_i_calculate_it_for_asr/
5. Dan’s Weekly AI Speech and Language Scoop #38 — Daniel D. McKinnon, дата последнего обращения: февраля 23, 2026, https://www.ddmckinnon.com/2025/01/23/dans-weekly-ai-speech-and-language-scoop-38/
6. Evaluating Speech-to-Text Systems with PennSound — arXiv.org, дата последнего обращения: февраля 23, 2026, https://arxiv.org/html/2504.05702v1
7. Benchmarks — AssemblyAI, дата последнего обращения: февраля 23, 2026, https://www.assemblyai.com/benchmarks
8. Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers — ISCA Archive, дата последнего обращения: февраля 23, 2026, https://www.isca-archive.org/interspeech_2023/gong23d_interspeech.pdf
9. Real-World Speech-to-text API Leaderboard | Voice Writer, дата последнего обращения: февраля 23, 2026, https://voicewriter.io/speech-recognition-leaderboard
10. What Is Automatic Speech Recognition? — Rev, дата последнего обращения: февраля 23, 2026, https://www.rev.com/blog/what-is-automatic-speech-recognition-technology-the-ultimate-guide-to-asr
11. Recent Trends in Distant Conversational Speech … — arXiv, дата последнего обращения: февраля 23, 2026, https://arxiv.org/pdf/2507.18161
12. Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges, дата последнего обращения: февраля 23, 2026, https://www.merl.com/publications/docs/TR2026-008.pdf
13. openslr/librispeech_asr · Datasets at Hugging Face, дата последнего обращения: февраля 23, 2026, https://huggingface.co/datasets/openslr/librispeech_asr
14. Open ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation — arXiv.org, дата последнего обращения: февраля 23, 2026, https://arxiv.org/html/2510.06961v1
15. SAMBA-ASR State-of-the-Art Speech Recognition Leveraging Structured State-Space Models — arXiv, дата последнего обращения: февраля 23, 2026, https://arxiv.org/html/2501.02832v1
16. The Top Open Source Speech-to-Text (STT) Models in 2025 — Modal, дата последнего обращения: февраля 23, 2026, https://modal.com/blog/open-source-stt
17. Best open source speech-to-text (STT) model in 2026 (with benchmarks) | Blog — Northflank, дата последнего обращения: февраля 23, 2026, https://northflank.com/blog/best-open-source-speech-to-text-stt-model-in-2026-benchmarks
18. FireRedTeam/FireRedASR: Open-source industrial-grade ASR models supporting Mandarin, Chinese dialects and English, achieving a new SOTA on public Mandarin ASR benchmarks, while also offering outstanding singing lyrics recognition capability. — GitHub, дата последнего обращения: февраля 23, 2026, https://github.com/FireRedTeam/FireRedASR
19. Speech Recognition Meets Large Language Model: Benchmarking, Models, and Exploration — AAAI Publications, дата последнего обращения: февраля 23, 2026, https://ojs.aaai.org/index.php/AAAI/article/view/34666/36821
20. Robust Speech Recognition via Large-Scale Weak Supervision — OpenAI, дата последнего обращения: февраля 23, 2026, https://cdn.openai.com/papers/whisper.pdf
21. Voice AI 2025 — The Year Voice Became Infrastructure | by Mohammad Shojaei | Medium, дата последнего обращения: февраля 23, 2026, https://medium.com/@mshojaei77/voice-ai-voice-agents-the-definitive-2025-state-of-the-art-december-10-2025-the-year-voice-efcc40891a4d
22. An approach to measuring the performance of Automatic Speech Recognition(ASR) models in the context of Large Language Model(LLM) powered applications — arXiv, дата последнего обращения: февраля 23, 2026, https://arxiv.org/html/2507.16456v1
23. Open ASR Leaderboard: Trends and Insights with New Multilingual & Long-Form Tracks — Hugging Face, дата последнего обращения: февраля 23, 2026, https://huggingface.co/blog/open-asr-leaderboard
24. Results | CHiME Challenges and Workshops, дата последнего обращения: февраля 23, 2026, https://www.chimechallenge.org/challenges/chime7/task1/results
25. The CHiME-7 DASR Challenge: Distant Meeting Transcription with Multiple Devices in Diverse Scenarios — ISCA Archive, дата последнего обращения: февраля 23, 2026, https://www.isca-archive.org/chime_2023/cornell23_chime.pdf
26. The CHiME-7 DASR Challenge: Distant Meeting Transcription with Multiple Devices in Diverse Scenarios, дата последнего обращения: февраля 23, 2026, https://www.chimechallenge.org/workshops/chime2023/papers/CHiME_2023_DASR_cornell.pdf
27. Results | CHiME Challenges and Workshops, дата последнего обращения: февраля 23, 2026, https://www.chimechallenge.org/challenges/chime8/task2/results
28. I benchmarked 12+ speech-to-text APIs under various real-world conditions — Reddit, дата последнего обращения: февраля 23, 2026, https://www.reddit.com/r/speechtech/comments/1kd9abp/i_benchmarked_12_speechtotext_apis_under_various/
29. The Best Speech Recognition API in 2025: A Head-to-Head Comparison | Voice Writer Blog, дата последнего обращения: февраля 23, 2026, https://voicewriter.io/blog/best-speech-recognition-api-2025
30. 2025 State of Automatic Speech Recognition — 3Play Media, дата последнего обращения: февраля 23, 2026, https://www.3playmedia.com/events/wbnr-05-01-2025-state-of-asr/
31. Top Voice AI Agents for 2026: The Ultimate Buyer’s Guide — Deepgram, дата последнего обращения: февраля 23, 2026, https://deepgram.com/learn/best-voice-ai-agents-2026-buyers-guide
32. Speech-to-Text for voice agents — Universal-Streaming — AssemblyAI, дата последнего обращения: февраля 23, 2026, https://www.assemblyai.com/blog/introducing-universal-streaming
33. Speech-to-Text API Benchmarks: Accuracy, Speed, and Cost Compared — Deepgram, дата последнего обращения: февраля 23, 2026, https://deepgram.com/learn/speech-to-text-benchmarks
34. Best Speech-to-Text APIs in 2026: A Comprehensive Comparison Guide — Deepgram, дата последнего обращения: февраля 23, 2026, https://deepgram.com/learn/best-speech-to-text-apis-2026
35. Deepgram and Genesys Partnership: Enhancing Voice Automation within Genesys with the New Deepgram Genesys Transcription Connector Integration, дата последнего обращения: февраля 23, 2026, https://deepgram.com/learn/deepgram-and-genesys-partnership-transcription-connector-integration
36. 5 Amazon Transcribe alternatives in 2025 — AssemblyAI, дата последнего обращения: февраля 23, 2026, https://www.assemblyai.com/blog/amazon-transcribe-alternatives
37. AI Transcription in 2024 Comparing Accuracy Rates Across Top 7 Platforms, дата последнего обращения: февраля 23, 2026, https://transcribethis.io/blog/ai_transcription_in_2024_comparing_accuracy_rates_across_top.php
38. Measuring the Accuracy of Automatic Speech Recognition Solutions — arXiv, дата последнего обращения: февраля 23, 2026, https://arxiv.org/html/2408.16287v1
39. The Most Accurate AI Transcription Tool of 2025: Unmixr & Top Alternatives, дата последнего обращения: февраля 23, 2026, https://unmixr.com/the-most-accurate-ai-transcription-tool-of-2025-unmixr-top-alternatives/
40. How Speech Recognition Systems Struggle with Children’s Voices — The Learning Agency, дата последнего обращения: февраля 23, 2026, https://the-learning-agency.com/the-cutting-ed/article/how-speech-recognition-systems-struggle-with-childrens-voices/
41. Finetuning ASR Models for Child Voices — The Learning Agency, дата последнего обращения: февраля 23, 2026, https://the-learning-agency.com/guides-resources/finetuning-asr-models-for-child-voices/
42. Open Universal Arabic ASR Leaderboard — arXiv, дата последнего обращения: февраля 23, 2026, https://arxiv.org/html/2412.13788v1
43. Exploring the performance of automatic speaker recognition using twin speech and deep learning-based artificial neural networks — Frontiers, дата последнего обращения: февраля 23, 2026, https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2024.1287877/full
44. [2309.02145] Bring the Noise: Introducing Noise Robustness to Pretrained Automatic Speech Recognition — arXiv.org, дата последнего обращения: февраля 23, 2026, https://arxiv.org/abs/2309.02145

Hypotheses Paradise: An Open and Strong Baseline for Speech Recognition with Large Language Models — NIPS, дата последнего обращения: февраля 23, 2026, https://papers.nips.cc/paper_files/paper/2023/file/6492267465a7ac507be1f9fd1174e78d-Supplemental-Datasets_and_Benchmarks.pdf