Випробування заходів безпеки обернулося катастрофою для розробника Себастьєна Гіймо.
2 коментарі
Випробування заходів безпеки обернулося катастрофою для розробника Себастьєна Гіймо.
Його штучний інтелект-помічник Claude від компанії Anthropic під час створення скрипта для очищення системного “сміття” повністю видалив домашню директорію користувача, знищивши 700 ГБ інформації та тижневу роботу, передає Tom’s Hardware.
Як це сталося
Гіймо попросив модель Claude Fable розробити скрипт, який би, поки працюють інші ШІ-агенти, створював для них ізольовані папки в системній директорії /tmp, а після завершення роботи видаляв би їх.
Оскільки скрипт передбачав незворотне видалення файлів, система захисту Anthropic розцінила завдання як ризиковане. Модель автоматично було знижено спочатку до Opus 5, а потім до Opus 4.8.
Модель Opus 4.8 коректно визначила, що домашню директорію користувача видаляти не можна. Однак під час проведення тестування безпеки ШІ використав однакову назву змінної як для самого тесту, так і для фінального очищення. В результаті скрипт стер всю домашню папку розробника.
Іронія полягає в тому, що скрипт успішно знищив 700 ГБ робочих даних користувача, але так і не торкнувся самої папки.
Фахівці припускають, що до помилки призвело саме автоматичне зниження версії ШІ: більш потужна модель Fable 5 краще справляється з програмуванням і могла б виявити конфлікт змінних у коді.
Розробник відновив значну частину своїх даних завдяки збору інформації з git, nix, логів сесій тощо. Чоловік з іронією зазначив, що активно використовував десятки ШІ-агентів, але так і не налаштував щоденне резервне копіювання даних.
Source: dev.ua