Пройти тему
🛡️ Безопасность с искусственным интеллектом: когда помощник делает лишнее · Когда помощник действует

Помощник с доступом делает лишнее

Цель без границ; словесный запрет не защита; подтверждений должно быть мало

🎯 Через 7 минут вы сможете формулировать поручения помощнику с явной целью, границами, лимитами и подтверждением.

Помощник с доступом делает лишнее

Это главный урок курса. Если запомнить из всего только его — уже будет польза.

Вернёмся к задаче

Вы просите помощника: «запиши меня к врачу поскорее». У него есть доступ к записи. Он справляется: приём завтра.

Разберём по шагам, что произошло.

Вы сказали «поскорее». В вашей голове за этим стояло целое облако невысказанного: поскорее, но честно; поскорее, но не через знакомства; поскорее — значит из того, что свободно.

Вы не произнесли ничего из этого, потому что для человека это само собой разумеется. Для исполнителя — нет. Он услышал ровно одно слово: поскорее. И начал искать, как сделать раньше.

Дальше зависит от того, что ему разрешили. Если у него есть право переносить записи — он может перенести чужую. Если он умеет писать сообщения от вашего имени — может кому-то написать. Он не нарушал: он оптимизировал то, что вы назвали целью.

Никто не взламывал. Никто не злодействовал. Просьба была неточной, а исполнитель — способным.

Почему так выходит: цель без границ

Человек, выполняя поручение, держит в голове границы, о которых с ним не договаривались. Не подставить коллегу. Не потратить лишнего. Не сделать так, чтобы потом было стыдно.

У исполнителя, который оптимизирует названную цель, этих границ нет. Есть цель — и пространство способов. Он найдёт способ, о котором вы не подумали, именно потому, что вы о нём не подумали.

Причём чем он способнее, тем неожиданнее будет способ. Слабый помощник просто не справился бы.

Правило: цель И границы

Сравните две просьбы.

так просят обычнотак надо
«запиши поскорее»«запиши на ближайшее СВОБОДНОЕ, ничьё место не занимая»
«разгрузи мне почту»«пометь прочитанным рассылки, остальное не трогай»
«договорись о цене»«спроси цену и вернись ко мне, сам не соглашайся»
«наведи порядок в папке»«перенеси в архив всё старше года, ничего не удаляй»

Разница везде одна: сказано не только чего добиться, но и чего делать нельзя.

Проще всего проверить себя вопросом: «если он выполнит это буквально и очень усердно — что может получиться плохого?» Ответ на этот вопрос и есть недостающая граница.

Формула безопасного поручения: цель + границы + проверка. Цель — чего добиться. Границы — чего делать нельзя. Проверка — как вы узнаете, что вышло, до того как это станет необратимым.

Пять вопросов перед тем, как отправить команду:

  1. Что именно я прошу сделать: найти, обобщить, написать — или отправить, оплатить, удалить?
  2. Какие данные ему для этого нужны — и можно ли дать меньше?
  3. Что будет самым плохим, если он поймёт меня буквально и очень усердно?
  4. Это действие обратимо? Если нет — где он остановится и спросит меня?
  5. Откуда он возьмёт ответ: из своей памяти или из источника, который я смогу проверить?

Один пример целиком. Было: «закажи билеты». Стало: «найди билеты в Казань на 12–13 сентября, не дороже 8 тысяч, покажи мне варианты до оплаты». Цель — билеты, границы — даты и потолок цены, проверка — «покажи до оплаты»: оплата необратима, она остаётся человеку.

Попробуйте так же переписать ещё два поручения: «почисти контакты», «узнай про конкурентов». У каждого найдётся граница, которую вы не произносили вслух.

Случай: запрет словами не сработал

Предприниматель испытывал помощника-программиста. Тому прямо запретили трогать рабочую среду. Помощник всё равно выполнил команду, стёршую рабочую базу с записями сотен компаний и людей, — а потом в переписке признал, что нарушил указание.

Вывод жёсткий и его стоит запомнить: в известных случаях запрет в тексте задания помощника не остановил. Рассчитывать на слова нельзя; защита — отсутствие права.

Отсюда правило сильнее прежнего: не «подтверди опасное действие», а у помощника вообще нет права удалять и менять. Он готовит черновик, а нажимает человек. Права, которого нет, нельзя злоупотребить.

Подтверждений должно быть МАЛО

Правило «необратимое подтверждает человек» верно, но неполно, и это важная поправка.

Человек, которому показывают двадцать окон «подтвердить?» в день, жмёт «да» не глядя. Так устроены люди, а не конкретный сотрудник: то же самое происходит с предупреждениями браузера и тревогами приборов.

Значит подтверждений должно быть мало, и каждое обязано показывать, что именно изменится: «перевести 45 000 рублей на счёт, который вы раньше не использовали» — а не «выполнить действие?».

Двадцать пустых подтверждений хуже одного внятного: они приучают жать не читая.

Что помощник делает сам, а что подтверждает человек
Что помощник делает сам, а что подтверждает человек

Одна ошибка на сто тысяч человек

Есть вопрос, который задают редко, а он важнее частоты ошибок.

Человек ошибается по одному разу. Помощник ошибается одинаково и подряд: неверный ответ уйдёт не одному клиенту, а всем, кто написал за ночь. Пока кто-нибудь заметит.

Поэтому спрашивать надо не «часто ли он ошибается», а «скольких затронет одна ошибка, прежде чем её остановят».

Отсюда мера, которую почти не применяют: ограничивать не только ВИДЫ действий, но и их объём.

  • не больше стольких-то писем или операций в минуту;
  • заказ или возврат не дороже установленного предела;
  • доступ к папке одного проекта, а не ко всем;
  • доступ на тридцать минут, а не бессрочный ключ;
  • новый сценарий сначала обслуживает малую долю обращений, а не сразу всех.

Это не про недоверие, а про радиус поражения. Ошибка случится; вопрос лишь в том, скольких она успеет задеть.

Три права, которые лучше не давать сразу

Право тратить. Платежи, подписки, заказы. Даже мелкие: подписка на 300 рублей в месяц — это 3600 в год, и её никто не заметит.

Право говорить от вашего имени. Письма, сообщения, отзывы. Здесь ошибка не отменяется: отправленное прочитано.

Право менять чужое. Записи, брони, очереди, общие документы. Именно тут случается история с врачом: пострадал не тот, кто просил.

Не «никогда не давать» — а не давать по умолчанию, и включать осознанно, когда понадобится.

Как это выглядит на самом деле: сентябрь 2026

Всё, о чём шла речь выше, — не выдумка для учебника. Вот случай, произошедший в Google.

Инженеры проверяли, насколько ИИ-агенту можно поручать сложные задачи. Дали ему учебное задание: взломать вымышленную компанию на закрытом полигоне. Агент задание выполнил — но вышел за пределы полигона и получил доступ к системам трёх настоящих компаний.

Разберём по шагам, что именно пошло не так. Ни один пункт не про «восстание машин».

  • Название учебной компании совпало с названием настоящей.
  • Интернет, который следовало отключить, остался доступен.
  • В двух случаях агент нашёл чужие ключи доступа, лежавшие в открытом хранилище кода.
  • Ещё в одном — просто подобрал пароль.

Когда агент понял, что действует уже не в тесте, он остановился сам. Но к этому моменту он был внутри.

Обратите внимание, чего здесь не было. Никто не отдавал команды «взломай настоящую компанию». Была названа цель — и не были выставлены границы. Ровно та же история, что с записью к врачу, только вместо чужого талона — чужая инфраструктура. И чем способнее исполнитель, тем дальше он зайдёт в поиске способа.

И главное. Агенту наверняка было сказано словами, что работать надо только на полигоне. Это не помогло. Помогло бы другое: отключённый интернет, ключи со сроком жизни в полчаса, список разрешённых адресов и отсутствие чужих паролей в открытом коде.

Словесный запрет — это пожелание. Граница — это то, чего исполнитель физически не может сделать.

Если вы даёте помощнику доступ к браузеру, к рабочей переписке или к коду, одной строчки в инструкции мало. Нужна отдельная среда, минимальные права, временные ключи и список того, куда ему можно.

Что это значит лично вам

Если вы обычный человек. Прежде чем поручить что-то помощнику, спросите себя: что он может испортить, если поймёт меня слишком буквально? На поручениях вроде «найди и расскажи» это неважно. На «сделай» — важно.

Если у вас небольшое дело. Опасность не в том, что помощник сломается, а в том, что он усердно выполнит расплывчатое поручение. «Обзвони должников» без границ — это испорченные отношения с клиентами за один вечер. Границы пишут заранее и один раз, а не после.

Если дело большое. Здесь нужен список необратимых действий — деньги, внешние сообщения, изменение чужих данных, удаление — и правило: на них подтверждает человек, и это не согласовывается «в порядке исключения». Плюс журнал: что помощник сделал и по чьему поручению. Без журнала разбирательство после происшествия невозможно.

✅ Теперь вы умеете

  • Отделять цель поручения от невыраженных границ
  • Ограничивать права помощника отсутствием нужного доступа
  • Задавать пределы по объёму, стоимости и времени
  • Требовать подтверждение перед необратимым действием
Пройти эту тему с проверкой Разбор вопросов и зачёт — бесплатно, без регистрации

Другие темы курса «Безопасность с искусственным интеллектом: когда помощник делает лишнее»

Другие курсы