Обзор проекта NIST о классификации атак на ИИ-агентов и о том, как превратить его идеи в практические испытания защиты.

Национальный институт стандартов и технологий США опубликовал публичный проект SP 2400-102 E2026 с отдельной главой об атаках на ИИ-агентов.

Документ помогает описывать угрозы общей терминологией: нарушитель может вмешаться в постановку задачи, планирование, выполнение действий или работу инструментов.

В статье разобраны атаки через запрос пользователя, цепочку поставки модели, недоверенные документы и память, инструменты и взаимодействие нескольких агентов. Отдельно показано, как проверять защиту на практическом примере: сравнивать сценарии с подложной инструкцией и без нее, сопоставлять журналы вызовов и убеждаться, что серьезные действия требуют независимой проверки и подтверждения человека.