Защита банковского ИИ: рекомендации Центробанка

Судя по статистике краж, мошенники постоянно находят новые лазейки для обмана клиентов банков и обхода технологий, облегчающих работу кредитных организаций.

В том числе хитрыми приемами они способны переиграть искусственный интеллект. К примеру, могут «заразить» обучающие данные и тем самым нарушить функционирование ИИ либо организовать «состязательные атаки», направленные на получение неверных выводов и решений искусственного интеллекта. Уберечь от фатальных последствий банки, использующие ИИ, например, в платежных операциях, поможет элементарная подстраховка — ее должен подтверждать сотрудник.

Различные способы защиты отечественных банковских сервисов от вражеских атак содержатся в рекомендациях ЦБ по безопасному использованию искусственного интеллекта в финансовой сфере.

По данным Банка России, финансовые мошенники в прошлом году похитили у россиян около 30 миллиардов рублей, это на 6,4% больше, чем в позапрошлом году. Объемы ущерба были бы куда чувствительнее, если бы преступникам удалось совладать с системой безопасности кредитных организаций, которые все чаще используют в своих интересах технологии искусственного интеллекта. Поэтому для более эффективной защиты финрынка в своих рекомендациях регулятор приводит полный список возможных действий со стороны цифровых недоброжелателей.

В частности, ЦБ предупреждает о возможных способах атак:

Уязвимости модели ИИ в открытых источниках. Нарушители имеют возможность отыскать уязвимости применяемой модели ИИ в открытых источниках, в том числе в репозиториях. Информация также может быть получена из документации либо с использованием тщательно составленных образцов данных и анализа ответов модели ИИ. Сведения о виде ИИ позволяют злоумышленникам разрабатывать точечные способы атаки. В результате они могут получить первоначальный доступ к системе.

«Отравление» данных. Другая возможная хитрость — «отравление» данных и публикация их на общедоступных ресурсах. Включение этих заведомо ошибочных сведений в набор обучающих ИИ данных грозит тем, что искусственный интеллект будет впоследствии делать неверные выводы и решения при анализе ситуации, чем могут воспользоваться киберпреступники.

Ложные примеры в обучающих данных. Помимо этого, «нарушители имеют возможность включить в набор обучающих данных ложные примеры, что может привести к неправильному обучению модели».

Удаление важных примеров. Еще одна возможная напасть: удаление преступниками важных примеров из набора обучающих данных, что может снизить устойчивость модели ИИ и нарушить ее функционирование.

Обход системных инструкций. Также взломщик может обойти системные инструкции модели ИИ, изменив метки в наборе обучающих данных, что также неизбежно влечет к неправильному обучению, ошибочным выводам и решениям.

Вредоносное ПО. Тех же результатов стоит ожидать от внедрения и исполнения вредоносного ПО в системе ИИ.

Модификация алгоритма обучения. Следующая неприятность — модификация алгоритма обучения, внедрение уязвимостей и кража программного кода ИИ, наборов обучающих и тестовых данных.

Атака типа «губка». Манипулирование информацией в наборах обучающих данных и формирование вредоносных запросов, например атака типа «губка», или управление потоком запросов в конце концов может привести к отказу системы, не выдержавшей повышенные нагрузки на вычислительные ресурсы.

Подстраховка сотрудником для критически важных процессов. Если финансовая организация использует ИИ в критически важных процессах с высокими рисками информационной безопасности, в частности в платежных операциях, рекомендуется, чтобы операцию подтверждал сотрудник.

Защита банковского ИИ: рекомендации ЦБ

Уберечь банковский ИИ от неприятностей поможет своевременное отслеживание происхождения данных, на основе которых машина обучается, а также их проверка на корректность, ошибки и несогласованность. При этом сам контроль должен быть структурным и форматно-логическим.

Для более убедительной защиты, обеспечения конфиденциальности и целостности данных целесообразно шифровать информацию. Алгоритмы шифрования финансовая организация должна определить самостоятельно.

Помимо этого, регулятор рекомендует использовать методы обезличивания персональных данных, а также маскирования «иной информации ограниченного доступа». При этом анализ уязвимостей проводится для всех компонентов, применяемых на всех этапах жизненного цикла ИИ.

Еще один дельный совет: применять при обучении модели ИИ один или несколько методов повышения устойчивости к состязательным атакам. Количество примеров состязательных атак в наборе обучающих данных должен определить сам банк.

Тестирование ИИ на «отравление» данных. Рекомендуется также тестировать ИИ для выявления «отравления» обучающих данных непосредственно после ее обучения. Для этого разумно применять набор тестовых данных, «который должен содержать данные, отличные от содержащихся в наборе обучающих данных», и хранить их нужно раздельное друг от друга.

Периодическое дообучение модели. Кроме того, регулятор советует проводить периодическое дообучение модели ИИ, что поможет адаптировать ее к новым угрозам безопасности. При каждом дообучении рекомендуется фиксировать версию модели ИИ, а также для каждой версии использовать механизмы контроля целостности и проверки подлинности обучающих данных.

30 миллиардов рублей похитили мошенники в прошлом году, 6,4% рост ущерба, ЦБ выпустил полный список способов атак на ИИ: от «отравления» данных до состязательных атак и атаки типа «губка». Подстраховка сотрудником для платежных операций, шифрование данных, обезличивание, маскирование, тестирование на «отравление», периодическое дообучение — рекомендации ЦБ защитят банковский ИИ от фатальных последствий. Мошенники находят новые лазейки, но банки теперь имеют полный список способов защиты.