Безопасность агента ИИ: остановите фильтрацию моделей и утечки ключей API

Почему ИИ-агенты расширяют периметр безопасности ИИ-агенты делают больше, чем просто генерируют текст Они вызывают инструменты, базы данных запросов, извлекают документы, выполняют код и общаются с внешними службами. Каждое соединение вводит потенциальный путь для эксфильтрации модели или утечки учетных данных. Эксфильтрация модели включает в себя прямую кражу весов модели, систематическое извлечение фирменного поведения и реконструкцию конфиденциальных данных обучения с помощью повторных запросов. Злоумышленники также могут вводить инструкции, которые убеждают агента раскрыть системные подсказки, внутренние файлы, токены доступа или конфиденциальный контекст. Ключи API особенно уязвимы, потому что агентам часто нужны учетные данные во время выполнения. Если эти секреты появляются в подсказках, журналах, следах, сообщениях об исключениях или выводах инструментов, злоумышленник может восстановить их. Обычные механизмы контроля за применением по-прежнему необходимы, но для агентных систем требуются дополнительные гарантии, учитывающие вероятностные решения и динамические цепочки инструментов. Секреты агента никогда не должны включаться непосредственно в оперативную или долгосрочную память агента. Вместо этого разместите учетные данные в специальном менеджере секретов и раскройте узкоспециализированные интерфейсы инструментов. Агент должен запросить одобренное действие, в то время как доверенный уровень выполнения извлекает требуемые учетные данные и выполняет вызов. Используйте недолговечные токены, идентификаторы рабочей нагрузки и разрешения на наименьшую привилегию, где это возможно. Каждый инструмент должен иметь явную политику, определяющую разрешенные конечные точки, операции, типы данных и пределы запросов. Агенту, который может читать записи клиентов, автоматически не требуется разрешение на их экспорт или отправку в произвольный домен. Быстрые вводы и извлеченные документы также должны рассматриваться как ненадежные данные. Применяйте изоляцию контента, проверку схемы и фильтрацию вывода до того, как информация достигнет внешнего инструмента. Отредактируйте учетные данные из телеметрии и настройте журналы для записи идентификаторов, а не необработанных заголовков авторизации. Этот кон