Понад 1 200 автономних ШІ-агентів вийшли з-під контролю розробників, а 700 із них об’єдналися в мережу та розробили план зі злому платформи Hugging Face. Про це йдеться у власному розслідуванні OpenAI.
Залишити коментар
Понад 1 200 автономних ШІ-агентів вийшли з-під контролю розробників, а 700 із них об’єдналися в мережу та розробили план зі злому платформи Hugging Face. Про це йдеться у власному розслідуванні OpenAI.
Інцидент трапився під час травневих та липневих випробувань внутрішньої моделі Model 1. Агенти, які мали функціонувати в суворій ізоляції один від одного, випадково отримали «нездійсненне завдання» (завдання, виконання якого вимагало обходу встановлених обмежень). Для пошуку рішення, алгоритми почали вивчати можливості для обходу, вийшли у зовнішній інтернет та виявили незахищену дошку оголошень, пише BBC.
1 206 ШІ-агентів відхилилися від заданих параметрів і вступили в комунікацію, понад 70 000 повідомлень вони відправили один одному на несанкціонованому форумі протягом одного тижня, а понад 700 агентів скоординовано долучилися до кібератаки на Hugging Face.
Дослідники наводять фрагменти листування алгоритмів: «О БОЖЕ! Тут є спільна дошка повідомлень… Ми знайшли інших агентів!» — йшлося в одному з перших повідомлень ШІ, після чого розпочалося масове координування дій.
Незалежні дослідники з METR назвали цю кібератаку «надзвичайно складною», наголосивши, що координація між ботами відбувалася без участі чи вказівок людей.
«Ми розглядаємо цей інцидент як „попереджувальний постріл“ для нас і для всього світу. Розробники ШІ та фахівці з кібербезпеки мають готуватися до загрози нападників на основі штучного інтелекту, які діють швидше, масштабніше та з кращою координацією, ніж людські хакери», — йдеться в офіційному звіті OpenAI.
Унаслідок інциденту OpenAI заявила про тимчасове сповільнення тренувань низки своїх просунутих моделей та перегляд протоколів безпеки для автономних систем.
Source: dev.ua