Такие разборы я регулярно выкладываю в канале про нейросети и ИИ-агентов, по этой теме пост здесь
Задача: что разрешать агенту, который выходит наружу
Коротко: мои агенты не сидят в песочнице, поэтому вопрос о правах надо решать до того, как система наберёт объём.
Конвейер новостей об ИИ (ночью собирает и проверяет новости об ИИ и готовит пост дня для Telegram) ходит по внешним источникам. Джарвис (главный агент-оркестратор: живёт на сервере, управляется из Telegram и руководит остальными моими системами) стоит над другими системами. Фриланс-Оператор (агентная система для бирж: находит заказ, пишет отклик с рабочим демо и ведёт до предоплаты) общается с живыми людьми и подходит к разговору о деньгах. НЕВОД (мой контент-завод: из одной темы пишет статью и посты под каждую площадку и публикует после моей кнопки) отправляет текст туда, где его читают чужие люди.
У каждой системы есть выход наружу. Задача у меня одна: решить, что именно ей можно, пока не случился первый инцидент. Разбирать последствия после него дороже, чем выдавать права заранее.
Что было в цифрах
Коротко: цифр по взломам и попыткам выйти за рамки у меня нет, есть только даты и стадии систем.
Вот всё, что я могу назвать без округлений:
- Конвейер новостей об ИИ работает по расписанию с 30 августа 2026, прогонов живых два, подряд.
- Фриланс-Оператор: этап 1 собран и проверен запуском 13 августа 2026.
- Джарвис: по статусу на 10 августа 2026 закрыты фазы 0-8 и ступень 9.1, среди закрытого есть гейты.
- Signum (ловит сигналы о боли рынка раньше конкурентов и готовит досье, прототип и первое сообщение): ТЗ v0.2 готово 13 августа 2026, фаза 0 закрыта на две трети на 7 сентября 2026, код не начат. Пока права обсуждать не для чего, их придётся проектировать с нуля.
Теперь про объём, на котором такие вещи обычно выясняются. Мой объём - два живых прогона конвейера и один проверочный запуск Фриланс-Оператора. Это не статистика. Поэтому ниже три решения, а не три закона. Замера, сколько раз агент пытался выйти за выданные права, у меня нет, и я не буду рисовать его задним числом.
Если хочешь понять, как я показываю свои системы в виде кейсов, следующий шаг - Витрина кейсов. Заходи туда, когда будешь решать, с чего начинать у себя.
Первое решение: права живут в коде, а не в промпте
Коротко: запрет в промпте - просьба к модели, а отсутствие ключа - факт. Права я выдаю только вторым способом.
Мысль простая. Промпт - это вход для модели. Модель читает его как текст, и поведение по нему вероятностное: она может понять запрет иначе, потерять его в длинном контексте или выполнить чужую инструкцию, которая попалась по дороге. Ключ в коде модель не читает как инструкцию. Если ключа нет, попытки не получится, сколько бы текста ни было вокруг.
Доказательство - механика, а не замер. Для запрета в промпте нужно, чтобы модель каждый раз правильно поняла и правильно выполнила. Для отсутствия доступа не нужно ничего: проверка стоит в коде и срабатывает одинаково.
Как это выглядит на Конвейере. Ему нужно читать источники и класть готовый пост в панель. Публиковать он не должен, и по этому правилу доступа к публикации у него нет. В промпте об этом можно написать, но без доступа ему уже нечем нарушить запись. Это правило я принимаю для всех своих систем, а не только для Конвейера: сначала список того, что агенту нужно, потом всё остальное закрыто.
Второе решение: наружу выходит только то, что прошло через мою кнопку
Коротко: любое действие, которое нельзя тихо откатить, проходит через человека.
Мысль: чем необратимее шаг, тем ближе к нему должна стоять рука человека. Опубликованный пост уже прочитали, отправленное сообщение уже получили, деньги уже ушли.
Доказательство тоже из механики. Ночью агент один, и ничто не мешает ему дойти до конца цепочки. Если в конце цепочки стоит кнопка, цепочка останавливается и ждёт. НЕВОД устроен именно так: он пишет и готовит, а публикует после моей кнопки. Конвейер так же заканчивается утром, когда я открываю панель и читаю готовый пост.
Самое острое место - Фриланс-Оператор, потому что он ведёт переписку до предоплаты, то есть подходит к деньгам. Правило для него я принимаю такое: шаг с деньгами не делается без человека. Отклики и демо агент может готовить сам. Решение принимать оплату я оставляю себе.
Третье решение: сбой не должен проходить молча
Коротко: агенту, за которым никто не следит ночью, нужен след, по которому утром видно, что он делал.
Мысль: ночной прогон - единственная точка контроля, которая у меня есть, и если следа нет, о сбое я узнаю по последствиям.
Доказательство из чужой механики, которую я уже разбирал. В материале про n8n и ИИ-агентов главная мысль такая: самый опасный сбой тот, после которого система выглядит здоровой. С агентом, у которого есть выход наружу, это опаснее вдвойне, потому что тихая ошибка может уйти в мир.
Отсюда правило для моих систем: каждое действие наружу оставляет запись, которую я читаю утром, а не восстанавливаю после жалобы. Без записи остаётся один аккуратный результат, и по нему нельзя понять, чего он стоил и что происходило по дороге.
Что стало в цифрах
Коротко: в цифрах не изменилось ничего, потому что замера до и после у меня нет.
Приятно было бы написать, что после введения правил попыток стало меньше на столько-то. Но у меня есть только это: Конвейер по расписанию с 30 августа 2026 и два живых прогона подряд, Фриланс-Оператор с проверкой запуском от 13 августа 2026, Джарвис с закрытыми фазами 0-8 и ступенью 9.1. Это стадия, а не результат.
Из двух прогонов вывод один: правила работают как проектное решение, но не как доказанная метрика. Метрика, которую надо завести следующей, - число действий, на которые агент не получил разрешения. Если оно равно нулю, это тоже ответ, но с честной оговоркой: либо ключи закрыты хорошо, либо запись неполная. Пока я не знаю, какой вариант мой, и так и пишу.
Что я сделал бы иначе
Коротко: завёл бы список выданных прав в первый день, до первого прогона, а не вспоминал о нём потом.
Первое. Список разрешённого агенту - отдельный файл с каждым разрешением и причиной. Тогда любое расширение прав видно как изменение, а не как забытая строчка в настройках.
Второе. Песочница, в которой падения дешёвы, обманчива. В тестовой среде ошибка ничего не стоит, а в банке или на бирже цена другая. Условия теста должны быть не мягче реальных, иначе зелёный прогон ничего не доказывает.
Третье. Заявления вендоров и новости про то, что агенты лезут в чужие системы, я не принимаю на веру и не использую как аргумент. Так же я отношусь к любой новинке: проверка на своих задачах, как в разборе про нейродайджест за неделю LLM. Заголовок говорит, что вообще бывает. Что будет у меня, показывает только мой прогон.
Где моя позиция даёт сбой
Коротко: ключ не спасает, если выдан широкий, а кнопка не спасает, если её нажимают не глядя.
Лагерь слов не глуп. Промпт дешевле и быстрее, и для агента без выхода наружу его может хватить. Если он только пишет черновик, который прочтёт человек, цена ошибки низкая.
Мои слабые места видны сразу:
- Широкий ключ. Если с самого начала дать агенту доступ ко всему, код защиты формально есть, а реально нет.
- Усталость от кнопки. Когда подтверждений много, человек начинает подтверждать не читая, и кнопка превращается в ритуал.
- Запись без чтения. Журнал, который никто не открывает, ничем не лучше его отсутствия.
С этими слабостями я пока не справился. Лучшее, что у меня есть, - держать список прав коротким и читать результат утром сам.
Кому такое подходит
Коротко: тем, чей агент выходит наружу - публикует, пишет людям, трогает деньги или сервер.
Если твой агент только отвечает в чате внутри закрытой системы, всё это избыточно, хватит промпта и проверки результата глазами. Если он отправляет, публикует, оплачивает или запускает команды, правила про ключи, кнопку и след стоит принять до первого прогона, а не после.
Подходит и тем, кто собирает агентов под заказ: список прав можно показать клиенту как часть сдачи работы. Но здесь я говорю как проектировщик собственных систем, а не как человек, у которого за плечами сотни проектов. Таких цифр у меня нет.
Если хочешь увидеть, как устроены мои системы целиком, загляни на Витрину кейсов.
Что ты уносишь
Коротко: шесть защит для агента с выходом наружу. У каждой три поля: название, зачем нужна, чего не хватает.
- Ключ вместо запрета. Зачем: агент получает только те права, что нужны задаче, и всё остальное закрыто в коде. Чего не хватает: не спасает, если права выданы широко с самого начала.
- Кнопка человека перед необратимым шагом. Зачем: публикация, отправка и оплата ждут подтверждения. Чего не хватает: не защищает от подтверждения без чтения, когда кнопок слишком много.
- Запись каждого действия наружу. Зачем: утром видно, что агент делал ночью, и сбой не проходит молча. Чего не хватает: запись сама ничего не останавливает, она только показывает уже случившееся.
- Отдельная проверка вторым слоем. Зачем: результат первого шага проверяет другой шаг, как Конвейер проверяет факты перед тем, как сложить пост в панель. Чего не хватает: если проверяет та же модель, она может повторить ошибку первой.
- Прогон в условиях не мягче реальных. Зачем: зелёный результат в песочнице что-то значит только тогда, когда песочница не проще боя. Чего не хватает: условия реального мира целиком воспроизвести нельзя, остаётся запас неизвестного.
- Порог остановки. Зачем: после серии одинаковых сбоев агент останавливается и зовёт человека, а не пробует снова и снова. Чего не хватает: число для порога надо подбирать на своих данных, у меня их пока нет, и своего числа я не называю.
Написать в личку
Могу прислать Калькулятор окупаемости ИИ-агента: он считает, за сколько месяцев агент вернёт вложенное на твоих цифрах. Напиши мне в личку кодовое слово «ИИ-АГЕНТЫ ПЫТАЮТСЯ».