Пройти тему
🛡️ Безопасность с искусственным интеллектом: когда помощник делает лишнее · Если у вас дело

Отравленный источник: когда бота учат чужие руки

Кто правит источник, тот правит ответы бота — взламывать ничего не надо

🎯 Через 4 минуты вы сможете находить отравленный источник бота и отделять проверенные материалы от чужого текста.

Отравленный источник: когда бота учат чужие руки

Модуль для тех, у кого бот отвечает клиентам «по нашим материалам». Обычному человеку он тоже пригодится — чтобы понимать, откуда бот берёт ответ, когда отвечает уверенно.

Бот отвечает не из головы

Хороший бот не выдумывает. Ему дают источник: описания товаров, каталог, база вопросов и ответов, страницы вашего сайта, файлы поставщика. Он читает их и отвечает по ним.

Отсюда простое, но неочевидное следствие:

Кто правит источник — тот правит ответы бота.

Не нужно взламывать бота. Достаточно изменить то, что он читает.

Три двери в источник бота: сайт, отзывы, файлы извне — и клиент слышит это как ваше слово
Три двери в источник бота: сайт, отзывы, файлы извне — и клиент слышит это как ваше слово

Три двери, через которые правят источник

Первая: ваш собственный сайт. Бот берёт описания со страниц. Кто может править страницы? Обычно — не только вы: подрядчик, контент-менеджер, приглашённый специалист, старая учётная запись уволившегося.

Вторая: то, что пишут посторонние. Отзывы, комментарии, вопросы к товару, заявки. Если бот читает и их — а он часто читает, чтобы «понимать контекст», — то любой человек может добавить в источник свой текст.

Третья: файлы, которые приходят снаружи. Прайс поставщика, каталог партнёра, выгрузка от подрядчика. Их обычно загружают не глядя: там тысячи строк, кто их будет читать.

Во всех трёх случаях беда одинаковая: в источник попало то, чего вы туда не клали.

Чем это отличается от впрыска подсказки

Механизм тот же самый — текст, который бот принимает за указание. Разница в двери.

При впрыске подсказки чужой текст приходит прямо сейчас, в письме или запросе. Заметить можно, если следить за странным поведением.

Здесь чужой текст лежит в источнике, которому вы доверяете, и работает молча, каждый день, на всех клиентов. Никто ничего не присылает. Бот просто отвечает не то — и делает это уверенно, потому что «взял из наших материалов».

Поэтому находят такое поздно и обычно случайно.

Как это выглядит на деле

Не обязательно злой умысел. Чаще получается само:

  • в описание товара кто-то добавил фразу «рекомендуем аналог» со ссылкой — бот начал советовать чужое;
  • в базе вопросов осталась старая формулировка про возврат — бот обещает то, чего вы уже не делаете;
  • в прайсе поставщика затесалась строка с чужими условиями — бот повторяет их клиенту как ваши.

Умышленно тоже бывает: конкуренту достаточно оставить нужный отзыв, если бот читает отзывы.

Что делать

Разделить источники на «наши» и «чужие». Бот отвечает ТОЛЬКО из проверенных материалов. Отзывы, комментарии, письма клиентов он может читать, чтобы понять вопрос, но не может брать оттуда ответ. Это разные вещи, и их надо разделить в настройках, а не в голове.

Знать, кто может править источник. Составьте список: кто имеет доступ к сайту, к каталогу, к базе ответов. Обычно он длиннее, чем ожидалось, и в нём есть люди, которые давно ушли.

Замечать изменения. Хотя бы раз в неделю смотреть, что поменялось в материалах, из которых отвечает бот. Не читать всё — смотреть именно ИЗМЕНЕНИЯ, их мало.

Спрашивать бота самому. Раз в месяц задать ему десяток обычных клиентских вопросов и прочитать ответы. Это находит больше, чем любая проверка настроек, и занимает полчаса.

Файлы снаружи — не в источник напрямую. Прайс поставщика сначала смотрит человек, потом он попадает к боту. Тысяча строк — это долго; но одна строка, которую никто не прочитал, обходится дороже.

Что это значит лично вам

Если вы обычный человек. Когда бот на сайте отвечает уверенно, помните: он отвечает из материалов, которые кто-то туда положил. Важное — сроки, суммы, условия возврата — просите подтвердить у человека или письменно.

Если у вас небольшое дело. Начните с одного: посмотрите, читает ли ваш бот отзывы и комментарии. Если да — это открытая дверь, через которую в ваши ответы попадает чужой текст.

Если дело большое. Здесь нужен порядок обращения с источниками: что считается проверенным материалом, кто его правит, как фиксируются изменения и кто отвечает, если бот повторил чужие условия как ваши. И правило: внешние файлы попадают в источник только через человека.

✅ Теперь вы умеете

  • Распознавать три двери в источник: сайт, пользовательский текст и внешние файлы
  • Отличать отравленный источник от впрыска подсказки
  • Настраивать ответы только по проверенным материалам
  • Проверять поведение бота обычными вопросами
Пройти эту тему с проверкой Разбор вопросов и зачёт — бесплатно, без регистрации

Другие темы курса «Безопасность с искусственным интеллектом: когда помощник делает лишнее»

Другие курсы