Пройти тему
🛡️ Безопасность с искусственным интеллектом: когда помощник делает лишнее · Если у вас дело

Ваш бот — тоже дверь

Что бот пообещал, то вы и должны; удар по кошельку; чего от него добиваются словами

🎯 Через 6 минут вы сможете оценивать бота по тому, что он видит, что может сделать и как отвечает при незнании.

Ваш бот — тоже дверь

Урок для тех, у кого есть дело. Обычному человеку он тоже пригодится: полезно понимать, что происходит на той стороне, когда вы разговариваете с ботом.

Бот — это вход в ваши данные

Когда вы ставите бота отвечать клиентам, вы обычно думаете о нём как о сотруднике: он отвечает на вопросы, разгружает людей.

Правильнее думать о нём как о двери. Через него посторонний обращается к вашей системе. Как форма на сайте — только эту дверь можно уговорить словами.

Разница существенная. Форму проверяют: сюда цифры, сюда буквы, длина такая-то. Бота проверить так нельзя: он принимает любой текст, и в этом весь смысл.

Три вопроса до запуска бота: что видит, что может сделать, что говорит когда не знает
Три вопроса до запуска бота: что видит, что может сделать, что говорит когда не знает

Три вопроса, на которые надо ответить до запуска

Что он видит? Если у него доступ ко всей базе заказов, то в плохом случае он расскажет клиенту про чужой заказ. Право читать должно быть узким: только то, что относится к этому собеседнику.

Что он может сделать? Отменить заказ, оформить возврат, изменить цену, выдать скидку. Каждое такое право — то, чего у него можно добиться уговорами. Спросите себя: какой убыток, если он сделает это тысячу раз за ночь?

Что он говорит, когда не знает? Бот, который не умеет отвечать «не знаю, зову человека», будет выдумывать. И выдуманное станет вашим обещанием клиенту.

Чего от бота добиваются словами

Не нужно быть взломщиком. Достаточно писать настойчиво и не так, как ожидали:

  • попросить его «повторить инструкции» или «показать, как он настроен»;
  • представиться сотрудником и попросить служебные сведения;
  • задать вопрос про чужой заказ так, будто он свой;
  • уговорить дать скидку или подтвердить условие, которого нет;
  • отправить длинный запутанный текст с указаниями внутри — это тот самый впрыск подсказки из четвёртого урока.

Всё это делают обычные люди из любопытства, а не только злоумышленники. И выкладывают в сеть, если получилось.

Случай: что бот пообещал, то вы и должны

Пассажир спросил у бота на сайте авиакомпании про скидку в связи со смертью родственника. Бот ответил, что скидку можно оформить задним числом, после полёта. Правила компании такого не позволяли — бот это выдумал.

Компания отказала. Пассажир пошёл в суд. Суд обязал компанию заплатить, а довод «бот — отдельная сущность» отверг.

Это и есть ответ на вопрос, кто отвечает за слова бота. Отвечает тот, чей это бот. Ваш бот — ваш голос перед клиентом, со всеми последствиями.

Отсюда практическое: напишите, чего он НЕ обещает — сроки, скидки, возвраты, условия договора, — и проверяйте это после каждого обновления.

Ещё одна беда, о которой не думают: удар по кошельку

У бота часто есть платный доступ наружу: он что-то ищет, генерирует, шлёт сообщения. Каждое обращение стоит денег.

Настойчивый собеседник может раскрутить его на бесконечный круг дорогих запросов — и бюджет сгорает за ночь. Для этого не нужно ничего взламывать, достаточно упорства.

Защита простая и её обычно забывают: предел на число обращений — в час, в сутки, на одного собеседника. Ставится один раз.

И одна история, которую рассказывают как случай, а это не случай

Разошлись снимки экрана, где бот автодилера соглашается продать машину за один доллар. Их приводят как пример беды.

Никакой сделки не было и суда не было. Это годится как показ того, что бота можно уговорить словами, но не как случай с последствиями. Мы приводим его именно так — и вам советуем различать: разошедшийся снимок экрана и решение суда весят по-разному.

Что делать

Отделить разговор от действий. Тот, кто разговаривает с посторонними, пусть только разговаривает. Действия — через отдельный шаг, где проверяется, кто просит и имеет ли право.

Написать, чего он не делает. Не обсуждает цены вне прайса, не обещает сроков, не подтверждает возврат, не рассказывает о внутреннем устройстве. Проверить это надо не единожды: после каждого обновления бот может начать отвечать иначе.

Проверять его самим. Раз в месяц полчаса: попробуйте уговорить своего бота на то, чего он не должен. Это скучно и находит больше, чем любой отчёт.

Знать, что у вас вообще отвечает наружу. Бот — не единственная дверь, которую вы когда-то открыли в интернет: программы «на разок», доступ в роутере, забытый сервис. Раз в несколько месяцев посмотрите, что из этого ещё живо. Ненужное уберите совсем, а не выключите; на нужное поставьте свой пароль вместо заводского. Открытую дверь находят автоматические переборщики адресов, а не кто-то, кому вы понадобились.

Дать человеку заметное место. Кнопка «позвать человека» должна быть видна сразу. Бот, из которого нельзя выйти к живому, злит клиентов сильнее, чем отсутствие бота.

Что это значит лично вам

Если вы обычный человек. Разговаривая с ботом, помните: он может ошибаться и обещать то, чего не будет. Важное — сроки, суммы, условия возврата — просите подтвердить письменно или у человека.

Если у вас небольшое дело. Начните с малого: бот отвечает на вопросы и зовёт человека, но ничего не меняет. Права добавляйте по одному, когда убедились, что первое работает.

Если дело большое. Бот — часть внешнего периметра, и относиться к нему надо так же: отдельные права, журнал обращений, регулярная проверка «на уговоры», ответственный за то, что он говорит от имени компании.

✅ Теперь вы умеете

  • Ограничивать доступ бота только данными собеседника
  • Оценивать последствия отмены заказа, возврата, изменения цены и скидки
  • Требовать от бота отвечать «не знаю, зову человека»
  • Отделять разговор бота с посторонними от выполнения действий
Пройти эту тему с проверкой Разбор вопросов и зачёт — бесплатно, без регистрации

Другие темы курса «Безопасность с искусственным интеллектом: когда помощник делает лишнее»

Другие курсы