Антон Иванов: российские компании работают над созданием механизма защиты ИИ от хакеров

“В каждой компании, которая в Китае занимается искусственным интеллектом, есть отдельный отдел, который занимается и прорабатывает систему защиты искусственного интеллекта. Потому что, вот что мы сейчас наблюдаем, – уже существуют способы атаки на модели различные с целью следующей: чтобы модель предоставляла неправильную информацию либо выполняла определенные действия в инфраструктуре, где она разведывалась. И это на самом деле большая проблема, потому что в России сейчас нет защитных решений, которые позволят выявлять такие атаки и полноценно их блокировать”, – сказал Иванов.

“Мы сейчас с коллегами, из “Сбера” в том числе, прорабатываем методику и бенчмарки, как можно защищать модель искусственного интеллекта”, – добавил Иванов.

Также он отметил, что сейчас “Лаборатория Касперского” работает над созданием продукта, который позволяет анализировать запросы к ИИ-моделям и понимать, есть ли вредоносный запрос к агенту или вредоносный ответ от него.

Иванов считает, что российские компании должны сосредоточиться на создании подобных продуктов, определить методы безопасности моделей искусственного интеллекта. “Продукта полноценного сейчас нет, который может защитить модель пользователя. И самое важное, что представители государственных структур находятся у нас – должна появиться регуляторика о том, что если компания используют сервис искусственного интеллекта, то должна использовать такие продукты, чтобы как защищать пользователя, так и модель”, – добавил эксперт.

“Мы знаем, что наш крупный бигтех – “Яндекс”, “Сбер”, – у них есть такие команды, которые разрабатывают, работают над безопасностью искусственного интеллекта. Но мы не должны также забывать, что сейчас большое количество компаний, которые не делают свои модели. Они либо арендуют ее – к сожалению, такие случаи бывают, что это еще и зарубежные сервисы – либо они развертывают открытые модели. И они не думают о том, что коммуникация с моделью, … действия агентов, они должны быть защищены”, – объяснил Иванов.