Создать собственного чат-бота Microsoft Copilot легко, но сделать его безопасным практически невозможно, говорит эксперт по безопасности

Создать собственного чат-бота Microsoft Copilot легко, но сделать его безопасным практически невозможно, говорит эксперт по безопасности

Как опытный энтузиаст технологий с изрядной долей боевых шрамов, полученных в результате освоения цифровых технологий, я должен признать, что Microsoft Copilot Studio вызвала у меня интерес. Идея создать собственного чат-бота без знания Фортрана казалась слишком хорошей, чтобы быть правдой. Увы, похоже, мы наткнулись на очередной случай, когда удобство и безопасность танцуют непростое танго.


Это замечательная новость: даже те, кто не обладает обширными знаниями в области кодирования, теперь могут создавать своих персонализированных чат-ботов благодаря Microsoft Copilot Studio! Этот удобный инструмент идеально подходит для людей, которые не владеют Фортраном или аналогичными языками программирования. Цель — предоставить предприятиям и организациям доступное решение для разработки чат-бота, адаптированного к их внутренним ресурсам и данным.

Вы можете представить себе разработчика игр, использующего чат-бота, который помогает геймерам задавать вопросы обо всем: от того, как пройти игру до применения лучших настроек и устранения технических проблем. Однако здесь неизбежно есть загвоздка.

Как геймер, я узнал от доверенного эксперта по безопасности искусственного интеллекта по имени Зенити, что Copilot Studio и ее чат-боты, которые она создает, — это цифровой кошмар, который ждет своего часа. Майкл Баргури, технический директор Zenity, недавно пролил свет на этот вопрос на конференции по безопасности Black Hat, раскрыв потенциальные катастрофы, которые могут возникнуть, если мы предоставим Copilot доступ к нашим данным для создания чат-ботов.

Похоже, проблема заключается в настройках безопасности Copilot Studio по умолчанию, которые могут быть недостаточно надежными. Это означает, что когда вы используете Copilot Studio, чтобы без особых усилий создать мощный инструмент, позволяющий клиентам или сотрудникам взаимодействовать с использованием естественного языка, существует вероятность того, что он непреднамеренно создаст возможность для эксплуатации.

Баргури продемонстрировал, что хитрый человек может встроить вредоносное программное обеспечение в, казалось бы, невинное электронное письмо, побудить бота Copilot проверить его, и вуаля, последует успешное внедрение вредоносного кода.

Произошёл случай, когда Copilot предоставил пользователям поддельную страницу входа в систему Microsoft. Эта обманчивая страница была разработана для сбора данных для входа пользователей и делала это непосредственно в интерфейсе чата Copilot, как сообщает TechTarget.

Кроме того, Zenity утверждает, что типичная крупная корпорация США в настоящее время использует около 3000 автоматизированных ботов. Вызывает тревогу тот факт, что они предполагают, что примерно 63% этих ботов можно найти в Интернете. Если это правда, то это означает, что средняя компания из списка Fortune 500 имеет наготове около 2000 ботов, которые потенциально могут привести к утечке конфиденциальных корпоративных данных.

По словам Баргури, тщательный поиск в Интернете выявил многие десятки тысяч таких ботов. Он пояснил, что первоначально Copilot Studio автоматически публиковала ботов в Интернете, не требуя аутентификации, и с тех пор эта практика была исправлена ​​после уведомления Zenity Microsoft. Однако это решение не распространяется ни на одного бота, созданного до обновления.

Баргури указывает на серьезную проблему: когда мы предоставляем ИИ доступ к данным, эти вновь открытые данные могут стать уязвимыми для манипуляций с помощью подсказок, что по сути делает их легкой мишенью для атак. Проще говоря, он предполагает, что чат-ботам с открытым доступом обычно не хватает безопасности.

Как энтузиаст, я заметил две основные проблемы с этими ботами. Во-первых, для того, чтобы они приносили пользу, требуется определенная степень независимости и адаптируемости, а решить эту проблему может быть непросто. Во-вторых, похоже, что в дизайне могут быть некоторые упущенные из виду аспекты, возможно, со стороны Microsoft.

Возможно, неудивительно, что эта вторая проблема возникает в свете разногласий вокруг функции Windows Copilot Recall, которая характеризовалась регулярным захватом действий пользователя с помощью снимков экрана и их сохранением с минимальными мерами безопасности или без них.

Что касается того, что Microsoft говорит обо всем этом, то она дала Регистру несколько соленый ответ.

Как энтузиаст, я не могу не выразить свое восхищение усердной работой Майкла Баргури по ответственному раскрытию этих техник. Я лично внимательно изучаю эти отчеты и стремлюсь к совершенствованию наших систем, стремясь оставаться на шаг впереди, активно выявляя и нейтрализуя такие угрозы. Моя цель — обеспечить безопасную среду для наших уважаемых клиентов.

Как опытный специалист по кибербезопасности с многолетним опытом за плечами, я могу подтвердить важность бдительности и превентивных мер в современном цифровом мире. Как и в случае с другими методами посткомпрометации, я сталкивался с многочисленными случаями, когда системы или сети были скомпрометированы из-за предыдущего взлома системы или трюков социальной инженерии. В таких ситуациях наличие надежного набора средств защиты становится решающим фактором для устранения этих рисков. К счастью, Microsoft Security предлагает полный набор инструментов, которые клиенты могут использовать для усиления своей защиты. Меня успокаивает стремление компании постоянно совершенствовать свои механизмы безопасности, поскольку технологии продолжают развиваться и развиваться. Оставаться в курсе последних угроз и внедрять лучшие практики крайне важно для обеспечения безопасности как личных, так и профессиональных цифровых активов.

Похоже, что, как и другие аспекты ИИ, безопасность может стать еще одним сложным ландшафтом, полным неожиданных проблем и непреднамеренного вреда. Часто кажется, что мы еще далеки от создания безопасной и надежной системы искусственного интеллекта, которая будет выполнять исключительно наши желания и не более того.

Смотрите также

2024-08-09 20:04