Дальше я разбираю термин «ИИ ошибается» как рабочую вещь: что он значит, как выглядит в моём НЕВОДе (мой контент-завод: из одной темы пишет статью и посты под каждую площадку и публикует после моей кнопки) и кому такая схема нужна, а кому лучше не браться.
Такие разборы я публикую регулярно, а разбор этой темы в канале лежит здесь
Что это одной фразой
Коротко: «ИИ ошибается» значит, что любой ответ модели может оказаться неверным при уверенном тоне, и этим надо управлять, а не удивляться.
Это не баг конкретной модели, который починят в следующей версии. Моё объяснение механики такое: если при оценке за «не знаю» теряешь балл, а за уверенный ответ получаешь шанс его заработать, модель учится отвечать всегда. Это моё прочтение, а не цитата из исследования.
Практический вывод для меня простой. Если ошибка заложена в механику, ставка на «выберу модель получше» проигрывает ставке на «встрою проверку».
На что похоже из обычной жизни
Коротко: ИИ похож на очень быстрого стажёра, который не умеет говорить «не уверен».
Стажёр приносит отчёт, оформленный безупречно. Цифры выглядят так, будто их считали, цитаты выглядят так, будто их читали. Отличить проверенное от дописанного по виду нельзя. Поэтому в нормальной компании у стажёра не отбирают работу, а ставят второго человека, который сверяет цифры с источником.
Всё, что меняется с ИИ: стажёров может быть сотня, они работают ночью, а сверять приходится по правилам, которые написал ты один раз. Отсюда и мысль про пользу. Хороший стажёр, у которого каждая ошибка попадает в журнал, учит тебя лучше любого вводного курса: видно, где именно твоё задание было размытым.
Две ошибки, которые трудно заметить
Коротко: выдуманный факт видно при проверке, а вот ощущение «стало быстрее» изнутри не проверишь.
Ошибка «модель выдумала цифру» ловится сверкой с источником. Ошибка другого рода сидит в самой оценке работы: кажется, что ИИ ускорил дело, а замера нет. Пока нет замера, это ощущение, а не факт. Поэтому у меня и результат, и польза проверяются тем, что можно посчитать, а не тем, что приятно чувствовать.
Если хочешь посмотреть, как такие схемы выглядят на живых проектах, загляни в Витрину кейсов. Там я собираю разборы, к которым можно вернуться после статьи.
Как выглядит у меня в работе
Коротко: в НЕВОДе и в Конвейере новостей об ИИ ошибку ловит код по проверяемому признаку, а модель вердикт может только ухудшить.
Конвейер новостей об ИИ (ночью собирает и проверяет новости об ИИ и готовит пост дня для Telegram) работает по расписанию с 30 августа 2026, два живых прогона подряд. Утром я открываю панель и читаю готовое. Решение «выпускать» принимаю я.
В НЕВОДе правила записаны в карту проекта, и каждое родилось из конкретной поломки.
- Три вычитки. Текст проходит код, потом редактора А, потом редактора Б. Решение выносит код, а записи о каждой вычитке остаются в журнале.
- Порог качества. Скоринг ниже 70 отправляет текст на доработку, максимум две итерации. После второй стоп.
- Стоп-темы на входе. Политика, война, религия и прочее из моего списка отсекаются на отборе темы, а не на вычитке. Отбраковка последним шагом обесценивает весь цикл, который к ней вёл.
- Формат при пустом реестре не назначается. Партнёрки, магниты, истории компаний и цитаты живут на реестре фактов. Если реестр пуст, формат не выдаётся вовсе, иначе модель выдумает сервис, которым я не пользовался.
- Наружу только после кнопки. Публикация требует записи об одобрении из панели или бота. Агент одобрить за меня не может, даже в тестовом прогоне.
Теперь конкретные случаи, когда ошибки были.
15 сентября живая вычитка нашла в статье четыре достройки: детали, которых не было в брифе. Модель добавила то, что звучало правдоподобно. Если бы вычитки не было, эти детали ушли бы под моим именем. Теперь в каждом брифе стоит прямой запрет достраивать механизм сбоя, способ починки, сроки и содержимое тестов, а вычитка проверяет его.
29 сентября модель написала призыв к кодовому слову строчными и без кавычек. Я вынес оформление кодового слова из текста модели в публикацию: статья содержит одну метку, а кавычки и заглавные ставит код. Оформление не может зависеть от того, вспомнит ли модель правило.
В тот же день я замерял подачу: из семи свёрстанных макетов обложки использовались два. Просьба «выбери подходящую форму» разрешалась у модели одинаково каждый раз, и лента получала один голос на все темы. Поэтому формат, макет и палитру теперь назначает код, с запретом повтора у соседей.
Видишь общий ход? Модель не стала лучше. Мы перестали давать ей решать там, где она ошибается одинаково.
Какие ошибки чем ловятся
Коротко: чем дороже ошибка, тем ниже по лестнице инструментов она должна ловиться: арифметика и форма в код, смысл в вычитку, решение у человека.
| Тип ошибки | Чем ловится | Где у меня | |---|---|---| | Достроенный факт, которого нет в брифе | вычитка редактором, итог решает код | три вычитки в НЕВОДе | | Формат оформления (кавычки, регистр) | код публикации | кодовое слово ставит публикация | | Один и тот же голос во всех материалах | назначение формата кодом | выбор макета и палитры | | Тема из стоп-списка | отсев на входе | отбор темы | | Слабый текст | порог скоринга 70, две итерации | цех текста | | Выдуманный факт для формата с реестром | пустой реестр, формат не выдаётся | партнёрки, магниты, цитаты | | Публикация без согласия | запись об одобрении из панели | кнопка владельца |
Каждый отказ пишется в журнал с причиной. Молчаливый сбой неотличим от работающей функции, поэтому след у отказа обязателен. Об этом же мой разбор про ограничение прав агента: слова в промпте остаются пожеланием, а замком становится отсутствие ключа (ИИ-агенты пытаются взламывать банки: что я поменял у своих).
Где путают с соседним термином
Коротко: ошибку модели путают с ошибкой постановки задачи, а видимую ошибку с тихой.
Два соседа, которых я развожу.
Галлюцинация и ошибка постановки. Галлюцинация это уверенный ответ, не опирающийся на исходные данные. Ошибка постановки это когда ты сам попросил «приведи всё в порядок» и получил порядок по версии модели. В моём разборе про нормализацию данных это ровно эта граница: на небольшой выборке ответы выглядят убедительно, а на всей номенклатуре одна правдоподобная догадка превращается в массовую порчу. Поэтому ИИ-джинн у меня сидит в лампе, модель предлагает преобразование, а применяет его код (Как нормализовать миллионы записей и удержать ИИ в «лампе» Джинна).
Видимая и тихая ошибка. Видимая возвращает текст на доработку, тихая проходит дальше. Охотиться надо за тихой, а видимую стоит беречь как датчик.
Кому такая схема нужна
Коротко: тем, у кого один и тот же тип работы повторяется много раз и у ошибки есть цена.
Это моё мнение по опыту своих систем, не универсальный закон. Схема с проверками окупается, если совпало большинство признаков.
- Задача повторяется: тот же вход, тот же формат результата. Одну проверку пишешь один раз, работает сотни раз.
- У ошибки есть цена: клиент, деньги, репутация, лицензия. Там, где она ноль, проверка не нужна.
- Результат можно сверить с источником: бриф, реестр, исходный документ. Нет эталона, нет проверки.
- Тебе нужен ночной режим: система работает без тебя, а утром ты принимаешь результат.
- Ты готов смотреть в журнал отказов. Без этого схема молча деградирует.
Если в задаче совпало три-четыре признака, пилот стоит делать.
Кому такая схема не нужна
Коротко: если задача разовая, дешёвая в ошибке или слишком дорогая для автоматики, проще делать руками.
Разовая работа. Проверку надо писать, тестировать на заведомо неверных примерах и читать журнал. Для задачи на один раз проще сделать самому и перечитать глазами.
Ошибка ничего не стоит. Черновик заметки для себя, идея для мозгового штурма. Тут тихая ошибка никого не обманет.
Ошибка слишком дорога для автоматики. Здоровье, право, налоги, инвестиции, безопасность. Модель может помочь со структурой вопросов или черновиком, но заключение и действие остаются за профильным специалистом и за тобой. Тут проверка кодом не заменяет человека.
Нет эталона. Если ты сам не можешь за минуту сказать, верен ли ответ, автоматическая проверка тебе тоже ничего не скажет. Сначала придумай, что считать верным.
Как начать пользоваться завтра
Коротко: возьми одну задачу, найди в ней места, где ошибка стоит денег, и поставь вокруг них проверку кодом.
Порядок такой, как я строю свои цеха.
- Выбери одну задачу, в которой результат можно сверить с источником.
- Найди в результате места, где ошибка дорогая: числа, даты, имена, ссылки, цитаты.
- Для каждого места опиши проверку, которая работает как код, не как просьба модели «перепроверь себя».
- Подложи заведомо неверный пример и убедись, что проверка срабатывает. Проверка, которую не ломали, ничего не доказывает.
- Пусть отказ пишется в журнал: причина и кусок данных.
- Заведи лимит попыток. После второй доработки система останавливается и зовёт человека.
- Каждую свою правку записывай как урок и подкладывай в вход следующей работы.
Дальше список в виде чек-листа, который можно скопировать и пройти.
Что ты уносишь
Коротко: чек-лист первого пилота на одной задаче, каждый пункт проверяется глазами или командой.
- [ ] Задача выбрана одна, и ты за минуту отличаешь верный результат от неверного.
- [ ] В результате выписаны места, где ошибка стоит денег, клиента или лицензии: числа, даты, имена, ссылки, цитаты.
- [ ] Для каждого места есть проверка кодом: сверка со списком, пересчёт, поиск цитаты в исходнике.
- [ ] Каждая проверка запущена на заведомо неверном примере и сработала. Видно по отказу в выводе.
- [ ] Отказ пишется в журнал с причиной и куском данных. Проверка: подложи ошибку и найди строку в журнале.
- [ ] Решение «пропустить или вернуть» принимает код по признаку, а не модель.
- [ ] Есть лимит попыток, после него остановка и вопрос к человеку. Проверка: подложи вход, который проверку не пройдёт никогда, и убедись, что цикл остановился.
- [ ] Наружу ничего не уходит без твоей кнопки. Проверка: запусти весь путь на заглушке вместо реального канала и убедись, что без кнопки отправки нет.
- [ ] Каждая твоя правка результата записана как урок и читается перед следующей работой.
- [ ] Через неделю прочитан журнал: какие отказы повторяются. Повторяющийся класс ошибки переезжает в код.
Что дальше
Коротко: ошибки ИИ не исчезнут, поэтому выигрывает тот, у кого они видны и записаны.
Подведу итог в трёх мыслях. ИИ ошибается всегда, и причина в самой механике. Видимая ошибка полезна: она показывает слабое место в задании. Тихая опасна, и именно под неё надо строить проверки.
Если хочешь продолжить, Витрина кейсов лежит здесь
Хочешь такую схему под свою задачу
Коротко: опиши задачу в личку, и я скажу, какие проверки в ней можно поставить кодом.
Я могу собрать для тебя набросок такой схемы под одну повторяющуюся задачу. Напиши в личку кодовое слово «ОШИБАЕТСЯ ХОРОШО» и одной строкой опиши, что у тебя повторяется и сколько стоит ошибка.