B2Shift · Опубликовано 27 августа 2026 г. · Обновлено 27 августа 2026 г.
Агент ИИ, который может выполнять действия, а не просто генерировать текст, наследует требования безопасности того, к чему он подключен, а также некоторые свои собственные. Большинство инцидентов связано с чрезмерным широким доступом, а не с самой моделью.
Доступ с наименьшими привилегиями — это наиболее важный элемент управления.
Агент должен иметь собственное удостоверение и собственные разрешения, а не заимствованные учетные данные администратора. Предоставляйте только те системы и поля, которые требуются для конкретной задачи. Расширение доступа позже — это изменение конфигурации; Обнаружение того, что у агента был ненужный доступ после года работы, является проблемой аудита, а не быстрым решением.
Разделяйте действия по обратимости, а не по тому, насколько впечатляюще они звучат
Чтение, составление, классификация и маршрутизация обычно могут выполняться без присмотра. Отправка денег, публикация цены, ответ на жалобу от вашего имени или удаление записи заслуживают одобрения человека — или, как минимум, окна отсрочки, в течение которого человек может вмешаться. Одинаковый подход ко всем действиям либо чрезмерно ограничивает полезные случаи, либо недостаточно ограничивает опасные.
Мониторинг дрейфа, а не только времени безотказной работы
Агент может технически находиться в сети и незаметно ошибаться: отвечать, используя устаревшие знания, неправильно классифицировать растущую долю запросов или выходить за пределы своей предполагаемой области действия по мере изменения вышестоящих систем. Мониторинг должен отслеживать качество результатов и тенденции достоверности, а не только то, реагирует ли служба.
Сделайте каждое решение реконструируемым
Каждое действие должно фиксировать, что его вызвало, какой контекст оно использовало, какое решение приняло, его уверенность, одобрил ли это человек и что изменилось в результате. В списке OWASP Top 10 для приложений LLM описаны распространенные классы отказов — чрезмерная свобода действий, небезопасная обработка результатов, быстрое внедрение — на которые стоит проверить свой проект перед запуском.
Управление доверием — это продуманный путь, а не второстепенная мысль.
Дела с низкой степенью достоверности должны иметь явный пункт назначения: указанное лицо или очередь рассмотрения, а не молчаливое предположение. Режим отказа, который вам нужен, — «это попало в человека»; то, против чего вы проектируете, — «это пошло не так, и никто не заметил этого в течение трех недель». См. «Агенты ИИ/сотрудники ИИ», чтобы узнать, как это включено в сборку, а также «Как обеспечить безопасность автоматизации ИИ и соблюдение GDPR» для половины этой картины, посвященной защите данных.
Обсудить процесс