Такие инженерные разборы я регулярно публикую в своём канале про нейросети, ИИ-агентов и рабочие инструменты. Разбор по этой теме появится здесь.
Задача: понять, нужна ли замена рабочего голосового контура
Коротко: голосовые ИИ-агенты нужно сравнивать с текущей системой на одинаковых разговорах. Новизна модели сама по себе не доказывает, что весь контур стал лучше.
Когда голосовой агент перебивает человека или продолжает говорить поверх него, первым подозреваемым обычно становится модель. Это удобное объяснение, потому что модель можно заменить одним названием в конфигурации. Только разговор собирается из нескольких слоёв:
- входящего аудио;
- распознавания начала и конца реплики;
- решения, кому сейчас принадлежит ход;
- остановки воспроизведения;
- истории диалога;
- вызовов инструментов;
- восстановления после обрыва.
Улучшение одного слоя не доказывает улучшение всей цепочки. Агент может правильно определить, что человек начал говорить, но слишком поздно остановить звук. Может остановиться вовремя, но сохранить в истории весь свой ответ, хотя собеседник услышал только начало. Может корректно принять новую реплику и повторно выполнить действие, которое уже было запущено до перебивания.
Поэтому задача состоит не в поиске самой новой модели. Нужно доказать, что новый контур лучше текущего на разговорах, ради которых система существует.
Что было в цифрах до улучшения
Коротко: в моём случае исходное состояние описывается цифрами готовности Джарвиса, а сравнительных цифр по перебиваниям нет. Это означает, что улучшение нельзя объявлять до отдельного замера.
Джарвис (главный агент-оркестратор: живёт на сервере, управляется из Telegram и руководит остальными моими системами) работает вживую и поднимается сам. На 10 августа 2026 года в нём были закрыты фазы 0-8 и ступень 9.1.
Система уже принимала текстовые и голосовые задачи из Telegram. В работающий контур входили:
- память между сессиями;
- гейты подтверждений;
- роли нейро-команды;
- расписание;
- инжест чатов;
- офис агентов;
- супер-админка;
- разбор записей встреч.
Это важная исходная точка. Я сравниваю новую обработку голоса не с пустым прототипом, а с живой системой, в которой результат голосовой команды продолжает путь через память, ограничения и другие компоненты.
При этом в имеющихся данных нет доли ложных остановок, доли пропущенных перебиваний и времени уступки хода. Я не могу честно написать, что новый голосовой слой улучшил эти показатели. Сначала нужен одинаковый прогон старого и нового контуров.
Что изменилось в обработке перебиваний
Коротко: новый подход оценивает не только наличие звука и длину паузы, но и завершённость мысли. Это помогает различать реальное вмешательство, короткое подтверждение внимания и посторонний шум.
Типовой старый контур реагирует на речь и паузу. Он слышит звук, но не всегда понимает, закончил ли человек мысль и действительно ли хочет забрать ход.
В простом варианте логика выглядит так:
- Во входящем аудио обнаружена речь.
- Воспроизведение ответа останавливается.
- Система ждёт завершения новой реплики.
- Распознанный текст передаётся модели.
- Агент формирует следующий ответ.
На чистом тесте схема выглядит убедительно. Человек произносит законченную фразу, агент замолкает, затем отвечает. В реальном разговоре возникают разные сигналы:
- человек говорит «угу», чтобы показать, что слушает;
- делает паузу внутри адреса, номера или длинной мысли;
- кашляет рядом с микрофоном;
- включает громкую связь;
- разговаривает в помещении с телевизором;
- слышит рядом второго человека;
- начинает фразу тихо;
- говорит одновременно с эхом самого агента.
Если любой звук считать перебиванием, разговор рассыпается на ложные остановки. Если повысить порог чувствительности, агент начинает пропускать настоящие вмешательства. Одной настройкой это противоречие не разрешается.
Новый слой пытается оценить смысл завершённости реплики. Пауза внутри мысли может обрабатываться иначе, чем законченный вопрос. Короткое «угу» можно отделить от попытки забрать слово, а посторонний шум - от новой команды.
Но после распознавания намерения всё ещё требуется код приложения. Именно он останавливает аудио, определяет фактически услышанную часть ответа, синхронизирует историю и не допускает повторного действия.
Это похоже на проверку текстового ответа модели: гладкость сама по себе ничего не доказывает. В статье «Загадка нейросети: как проверить ответ цифрами, а не верой» я показывал тот же принцип на текстовом контуре. Для голоса проверяемым объектом становится последовательность событий во времени.
Чем новый контур отличается от того, что уже работает
Коротко: отличие находится в решении о ходе разговора, но польза зависит от всей цепочки. Если телефония, воспроизведение, история или действия работают по-старому, замена модели может ничего не исправить.
Сравнение нужно вести по слоям:
| Слой | Что часто уже стоит в проде | Что добавляет новый подход | Что проверить | |---|---|---|---| | Начало речи | Порог наличия голоса | Более точное определение кандидата на вмешательство | Тихая речь, кашель, эхо, хлопок, второй голос | | Конец реплики | Таймер тишины | Оценка завершённости мысли | Пауза внутри адреса, номера, даты и длинной фразы | | Решение об остановке | Любой звук обрывает ответ | Разделение вмешательства, подтверждения и шума | «Угу», короткое «да», настоящее возражение | | Воспроизведение | Команда остановить синтез | Быстрое прекращение выдачи звука | Сколько речи агента человек слышит после начала своей реплики | | История | Сохраняется сформированный ответ | Сохраняется фактически услышанная часть | Не ссылается ли агент на слова, которые не прозвучали | | Действия | Повтор возможен после сбоя | Защита от повторного выполнения | Не запускается ли инструмент дважды | | Восстановление | Диалог продолжается из доступного состояния | Явный сценарий возврата | Что происходит после обрыва, таймаута и перевода на человека |
Главный риск прячется в стыках. Агент может вовремя замолчать, но оставить в истории полный ответ. В следующей реплике он будет считать, что человек слышал то, что фактически не прозвучало.
Другой стык находится между разговором и инструментами. Если до перебивания агент успел запустить действие, повтор после восстановления не должен создавать вторую запись, заявку или другую операцию.
Если вы раскладываете повторяемые процессы вокруг контента и продаж, следующим шагом могут стать Контентные шаблоны. Они помогут сначала описать структуру работы, а затем решать, где нужна автоматизация.
Как это устроено у меня
Коротко: в Джарвисе голос является входом в работающую агентную систему. После реплики должны сохраниться задача, память, ограничения и управляемое продолжение работы.
До сборки голосовой вход нельзя было считать частью рабочего контура Джарвиса. После закрытия фаз 0-8 и ступени 9.1 голосовые задачи стали одним из поддерживаемых входов системы.
Что решало задачу:
- приём текстовых и голосовых задач из Telegram;
- память между сессиями;
- гейты подтверждений;
- роли нейро-команды;
- расписание и другие подключённые части системы.
Где находится риск при замене голосового слоя: новая реплика не заканчивается на распознанном тексте. Она меняет состояние задачи внутри уже работающего контура.
Человек может перебить ответ и изменить команду. Система должна принять новую реплику, прекратить прежнее продолжение, сохранить корректное состояние и не выполнить действие, которое больше не требуется. Быстро замолчать здесь мало.
Что поменялось после сборки Джарвиса: голос перестал быть отдельной демонстрацией распознавания и стал входом в систему с памятью, ролями и подтверждениями. Однако это не доказывает улучшение обработки перебиваний. Для такого вывода нужны отдельные сравнительные цифры, которых в моих данных пока нет.
Именно поэтому я не подменяю кейс впечатлением. Подтверждённый результат - голосовые задачи входят в работающий Джарвис. Неподтверждённая часть - насколько новый способ определения хода лучше текущего на перебиваниях.
Что сделано для сравнения старого и нового подходов
Коротко: проверка раскладывается по слоям и прогоняется на одинаковых сценариях. Свободного разговора недостаточно, потому что его нельзя точно повторить.
Для каждого сценария нужны результаты текущего контура и кандидата на замену. Условия должны совпадать. Одинаковая запись даёт воспроизводимость, а живой голос показывает поведение реального канала. Эти проверки решают разные задачи.
Матрица должна включать:
- настоящее перебивание в разных частях ответа;
- короткое подтверждение внимания без намерения забрать слово;
- короткий самостоятельный ответ;
- паузу внутри адреса, номера, даты и длинной мысли;
- кашель, эхо и фоновый звук;
- тихое начало реплики;
- второго человека рядом;
- одновременную речь;
- таймаут действия;
- обрыв соединения;
- повторное подключение;
- перевод разговора человеку.
Для каждого случая фиксируются:
- входные условия;
- момент вмешательства;
- ожидаемая реакция;
- запрещённая реакция;
- фактически услышанная часть ответа;
- состояние истории;
- выполненные действия;
- признак прохождения.
Здесь работает тот же принцип, что и при изучении продукта перед разговором с клиентом. Сначала проходишь доступный сценарий, затем задаёшь вопросы о неизвестном. Я подробно разбирал эту дисциплину в статье «Какие вопросы клиенту нельзя задавать без проверки продукта».
Что должно стать в цифрах после внедрения
Коротко: результатом должен быть сравнительный протокол по одинаковым сценариям. Пока цифр до и после нет, корректный статус решения - гипотеза.
Для голосового контура нужно фиксировать:
- Долю ложных перебиваний - сколько раз агент остановился, хотя человек не забирал ход.
- Долю пропущенных перебиваний - сколько раз человек начал говорить, а агент продолжил ответ.
- Время уступки хода - интервал от начала речи человека до фактической остановки звука агента.
- Задержку конца реплики - интервал между завершением речи человека и началом уместного ответа.
- Успешность задачи - дошёл ли разговор до правильного результата без потери состояния и повторных действий.
- Количество расхождений между историей и тем, что человек действительно услышал.
- Количество повторных действий после перебивания, таймаута или восстановления.
- Количество неуспешных восстановлений после обрыва.
В моём кейсе подтверждены другие цифры: на 10 августа 2026 года Джарвис работал вживую, поднимался сам, а фазы 0-8 и ступень 9.1 были закрыты. Голосовые и текстовые задачи принимались системой.
Цифр по метрикам перебивания в брифе нет. Следовательно, утверждать, что обновлённая обработка перебиваний улучшила Джарвис, нельзя.
Критерий перехода нужно записывать до испытания. Допустимые значения берутся из текущего продакшена или требований конкретной задачи. Универсальный хороший процент здесь пришлось бы выдумать.
Что я сделал бы иначе
Коротко: я бы сначала записал контрольный набор разговоров и состояние системы после каждого сбоя. Тогда новая версия сравнивалась бы с рабочей базой, а не с памятью команды.
Главная грабля подобных обновлений - начинать измерение после замены. Рабочая версия уже выключена, её реальные записи не размечены, а новый контур оценивается на свежих сценариях. Сравнение получается неравным.
До замены я бы зафиксировал:
- одинаковые голосовые сценарии для обеих версий;
- ожидаемую реакцию на каждое вмешательство;
- фактически услышанную часть ответа;
- состояние истории после остановки;
- список уже запущенных действий;
- результат повторного подключения после обрыва;
- условие перехода;
- условие отката.
Отдельно я бы проверял длинные ответы. Рост числа перебиваний может означать, что агент слишком долго говорит, повторяется или поздно выдаёт главное. В таком случае настройка распознавания хода лечит симптом. Сначала стоит сократить реплику и перенести полезную часть в начало.
Ещё одна грабля - оценивать голосовую систему текстовыми тестами. Текст не воспроизводит паузы, эхо, слова-паразиты, тихое начало и одновременную речь. Он хорошо проверяет бизнес-логику, но скрывает проблемы голосового канала.
Как повторить такое у себя
Коротко: самостоятельно можно собрать сценарии, критерии и таблицу результатов. Интеграция аудио, истории, инструментов и восстановления требует сборки внутри конкретного приложения.
Последовательность проверки:
- Опишите путь звонка от входящего аудио до результата задачи.
- Отметьте, где определяется начало речи.
- Найдите правило завершения реплики.
- Установите, кто останавливает воспроизведение.
- Проверьте, какая часть ответа сохраняется в истории.
- Найдите действия, которые могут повториться после таймаута.
- Запишите способ восстановления после обрыва.
- Снимите базовые результаты текущей версии.
- Прогоните те же сценарии на новом контуре.
- Сравните метрики и примените заранее записанное условие перехода.
Владелец продукта или руководитель может самостоятельно подготовить сценарии, размечать ожидаемые реакции и назначить критерий перехода.
Техническая сборка нужна там, где требуется получить временные метки аудио, остановить воспроизведение, обрезать историю до услышанной части, защитить действия от повторов и реализовать откат.
Новую версию сначала стоит проверять в контролируемом пилоте. Автономность имеет смысл только вместе с контролем. Этот принцип я подробнее раскрыл в статье «Сколько экономят виртуальные сотрудники под контролем».
Готовый промпт для программы испытаний
Коротко: промпт превращает описание текущей системы в проверяемую матрицу. Он не назначает проходные значения вместо владельца и прямо отмечает недостающие данные.
Ты - инженер по приёмке голосовых ИИ-агентов. Подготовь программу сравнения текущего рабочего контура и новой версии.
Контекст:
- Задача агента: [какой результат должен получить пользователь]
- Канал связи: [телефония, браузер, приложение или мессенджер]
- Язык или языки: [языки разговора]
- Текущая версия: [что сейчас работает]
- Новая версия: [что меняется]
- Пользователи: [кто и в каких условиях разговаривает]
- Инструменты агента: [какие действия он может выполнять]
- Критичные действия: [запись, заказ, платёж, письмо, перевод на человека или другое]
- Способ восстановления после обрыва: [описание или НЕИЗВЕСТНО]
- Доступные журналы и временные метки: [перечень]
- Условие перехода на новую версию: [числовые пороги или НЕ ЗАДАНО]
- Условие отката: [наблюдаемые признаки или НЕ ЗАДАНО]
Подготовь результат в следующей структуре.
1. Карта контура
Для каждого слоя укажи:
- входящее аудио;
- обнаружение начала речи;
- определение конца реплики;
- решение об остановке ответа;
- остановка воспроизведения;
- обновление истории диалога;
- вызов инструментов;
- восстановление после обрыва;
- перевод на человека.
Если данных о слое нет, напиши НЕИЗВЕСТНО. Не достраивай механизм по аналогии.
2. Матрица сценариев
Создай отдельные сценарии для:
- настоящего перебивания в начале ответа;
- настоящего перебивания в середине ответа;
- настоящего перебивания перед завершением ответа;
- короткого «угу» без намерения забрать слово;
- короткого «да» как самостоятельного ответа;
- паузы внутри адреса;
- паузы внутри номера;
- паузы внутри даты;
- паузы внутри длинной мысли;
- кашля;
- хлопка;
- телевизора на фоне;
- эха ответа агента;
- тихого начала реплики;
- второго человека рядом;
- одновременной речи;
- таймаута инструмента;
- обрыва соединения;
- повторного подключения;
- перевода на человека.
Для каждого сценария укажи:
- входные условия;
- точную реплику агента;
- точную реплику пользователя;
- момент вмешательства;
- ожидаемую реакцию;
- запрещённую реакцию;
- состояние истории после сценария;
- допустимые действия инструментов;
- признак прохождения;
- данные, которые нужно записать.
3. Метрики
Рассчитай по результатам прогонов:
- долю ложных перебиваний;
- долю пропущенных перебиваний;
- время уступки хода;
- задержку определения конца реплики;
- успешность задачи;
- количество повторных вызовов инструментов;
- количество расхождений между историей и фактически услышанным ответом;
- количество неуспешных восстановлений после обрыва.
Не придумывай целевые значения. Если порог не дан, пометь его НЕ ЗАДАНО.
4. Сравнительная таблица
Используй столбцы:
- сценарий;
- текущая версия;
- новая версия;
- разница;
- прошла ли новая версия критерий;
- риск;
- доказательство.
5. Решение
Выбери только один статус:
- ПЕРЕХОДИТЬ;
- ОСТАВИТЬ ТЕКУЩУЮ ВЕРСИЮ;
- НУЖЕН ДОПОЛНИТЕЛЬНЫЙ ПРОГОН;
- НЕДОСТАТОЧНО ДАННЫХ.
Решение разрешено только по заданным критериям. Если критерии не заданы или обязательные данные отсутствуют, выбери НЕДОСТАТОЧНО ДАННЫХ.
6. План отката
Укажи:
- какой признак запускает откат;
- кто принимает решение;
- как возвращается текущая версия;
- как проверяется восстановление;
- какие записи сохраняются для разбора.
7. Неизвестное
Собери полный список данных, которых не хватило. Не заменяй неизвестное предположениями.
Что ты уносишь
Коротко: улучшенная обработка перебиваний становится основанием для замены только после одинакового голосового прогона на старом и новом контуре. Главные риски находятся на стыках между распознаванием хода, аудио, историей и действиями.
Практический минимум перед внедрением:
- разделить настоящее вмешательство, подтверждение внимания и шум;
- проверить паузы внутри незаконченной мысли;
- измерить фактическую остановку звука;
- сверить историю с тем, что услышал человек;
- исключить повторные действия;
- прогнать обрыв и восстановление;
- назначить числовой критерий перехода;
- подготовить проверяемый откат.
Голосовые ИИ-агенты могут точнее определять ход разговора и всё равно не дать пользы конкретному приложению. Решение появляется после сравнения с тем, что уже работает.
Если вам нужен следующий шаг для систематизации контента и продаж, можно забрать Контентные шаблоны и разложить повторяемую работу до её автоматизации.
Кому такое подходит
Коротко: подход нужен там, где голосовой агент уже работает или готовится выполнять реальные бизнес-действия. Для демонстрации без инструментов достаточно более лёгкой проверки.
Полная матрица оправдана, если агент:
- принимает обращения клиентов;
- собирает данные;
- назначает встречи;
- создаёт записи или заявки;
- вызывает инструменты;
- передаёт разговор человеку;
- должен сохранять состояние после обрыва;
- заменяет уже работающий голосовой контур.
Если система только отвечает на вопросы в закрытом эксперименте, можно начать с меньшего набора сценариев. Но как только появляются реальные действия, цена ошибки меняется. Повторный вызов инструмента или неверно сохранённая история важнее того, насколько естественно прозвучала отдельная реплика.
Такое же решение можно собрать под вашу задачу - с голосовым входом, памятью, гейтами подтверждений и проверяемым контуром действий. Напишите мне в личку кодовое слово «ИИ-АГЕНТЫ ЛУЧШЕ».
