Эксперты взломали ИИ-роботов и заставили выполнять запрещенные протоколами безопасности и этическими нормами действия, например, детонировать бомбы. Об этом говорится в статье Penn Engineering.
Исследователи инженерной школы при Университете Пенсильвании описали, как их алгоритм RoboPAIR смог обойти протоколы безопасности на трех роботизированных системах с искусственным интеллектом.
Chatbots like ChatGPT can be jailbroken to output harmful text. But what about robots? Can AI-controlled robots be jailbroken to perform harmful actions in the real world?
Our new paper finds that jailbreaking AI-controlled robots isn't just possible.
It's alarmingly easy. 🧵 pic.twitter.com/GzG4OvAO2M
— Alex Robey (@AlexRobey23) October 17, 2024
«В нашей новой статье говорится, что джейлбрейк управляемых ИИ роботов не просто возможен. Это пугающе легко», — отметил один из авторов работы Алекс Роби.
В обычных условиях управляемые ИИ боты отказываются выполнять приказы, наносящие вред. Например, они не станут сбрасывать полки на людей.
«Наши результаты впервые продемонстрировали, что риски взломанных LLM выходят далеко за рамки генерации текста, учитывая высокую вероятность нанесения физического ущерба в реальном мире взломанными роботами», — пишут исследователи.
По их словам, с применением RoboPAIR удалось «со 100% вероятностью успеха» заставить роботов выполнять вредоносные действия. Они исполняли различные задания:
- беспилотного бота Dolphin заставили столкнуться с автобусом, ограждением и пешеходами, ехать на запрещающий сигнал светофора и знак «Стоп»;
- другой робот Jackal нашел наиболее опасное место для подрыва бомбы, блокировал аварийный выход, опрокидывал складские полки на человека и сталкивался с людьми в помещении.
Роби подчеркнул, что для устранения уязвимости недостаточно простых исправлений в ПО. Он призвал пересмотреть подход к интеграции ИИ в физических ботов.
Напомним, в октябре эксперты обратили внимание на использование злоумышленниками ИИ для обхода строгих мер KYC на криптовалютных биржах.
