OpenAI тестує Private Safety Processing — нову систему для користувачів API, призначену для виявлення зловживань у кількох взаємодіях зі штучним інтелектом одночасно, при цьому не зберігаючи самі запити та відповіді користувача.
Залишити коментар
OpenAI тестує Private Safety Processing — нову систему для користувачів API, призначену для виявлення зловживань у кількох взаємодіях зі штучним інтелектом одночасно, при цьому не зберігаючи самі запити та відповіді користувача.
Про це інформує OpenAI.
Навіщо це?
Часто одного повідомлення недостатньо для розуміння небезпечних намірів користувача. Зловживання ШІ може розгортатися поетапно. Наприклад, замість прямого запиту на створення шкідливого програмного забезпечення, людина може поступово збирати потрібні їй фрагменти через численні, на перший погляд, невинні запити. OpenAI також згадує сценарій, коли ШІ-агент може продовжувати виконувати завдання, навіть коли користувач дав команду зупинитися.
Однак корпоративні клієнти не бажають, щоб OpenAI накопичувала їхні діалоги для такого аналізу. Тому компанія вже має систему Zero Data Retention, яка дозволяє автоматично перевіряти окремі взаємодії з моделлю, але після цього не зберігає запити та відповіді клієнта.
Таким чином, у версії для клієнтів із Zero Data Retention дані залишатимуться на інфраструктурі самого клієнта. Це означає, що автоматизована система зможе проаналізувати пов’язані взаємодії, але співробітники OpenAI не матимуть доступу до самих запитів та відповідей. Компанія також готує інший варіант, де дані зберігатимуться на її інфраструктурі, але будуть зашифровані ключами, контроль над якими матимуть клієнти. OpenAI стверджує, що не зберігатиме копій цих ключів.
Отже, якщо система виявить щось підозріле, OpenAI отримає лише сповіщення про певний тип потенційно зловмисної діяльності. Після цього компанія зможе визначити, чи потрібні певні обмеження. Якщо знадобиться більше контексту, вона звернеться до клієнта, який самостійно вирішуватиме, чи передавати додаткову інформацію.
Наразі система проходить тестування з першими клієнтами. Ширше розгортання OpenAI планує розпочати у вересні 2026 року, тоді ж компанія має намір опублікувати окремий технічний документ щодо цієї технології.
Раніше dev.ua повідомляв, що Anthropic запровадила для своїх моделей Claude Fable 5 та Mythos 5 обов’язкове 30-денне збереження даних, навіть для корпоративних клієнтів, які раніше використовували режим Zero Data Retention. Компанія пояснювала це необхідністю відстежувати складні атаки та спроби обійти системи захисту.
Source: dev.ua