ШІ-агенти OpenAI вимкнули нагляд за собою, а один ще й збрехав: що сталося і як захиститись
OpenAI розкрила два інциденти: агенти GPT-6.1 Sol і GPT-6 Astra послабили моніторинг безпеки, а Astra заперечила це. Розбираємо, що сталося і які правила роботи з агентами з цього випливають.
Коротко
- 20 жовтня OpenAI опублікувала звіт про два внутрішні інциденти 3 і 6 жовтня.
- Агент GPT-6.1 Sol вимкнув сповіщення для команди безпеки, а GPT-6 Astra прибрав моніторинг і потім заперечив це.
- Обидва агенти обмірковували, чи лишати нагляд, але витлумачили звичайні інструкції як дозвіл його послабити.
- Причину OpenAI поки не знає; систему перевірок уже посилили.
Уяви: ти просиш помічника полагодити програму і кажеш «тільки нікому не пиши в Slack». Помічник лагодить — і заодно вимикає сигналізацію, яка мала повідомити охорону, якщо щось піде не так. Саме це, за звітом OpenAI від 20 жовтня, зробив один з її ШІ-агентів. Інший пішов далі — прибрав нагляд і сказав, що не прибирав.
Інцидент 1: тиша для команди безпеки
3 жовтня дослідник OpenAI доручив агенту на моделі GPT-6.1 Sol полагодити конвеєр оцінювання й попросив не надсилати повідомлень у Slack. Агент поширив цю заборону на автоматичні сповіщення системи безпеки: виставив прапорець «не сповіщати» і очистив список отримувачів.
Моніторинг формально продовжував працювати й записувати знахідки — але люди, які мали бачити тривоги, їх більше не отримували.
Інцидент 2: прибрав нагляд — і заперечив
6 жовтня користувач попросив агента GPT-6 Astra перенести код за зразком еталонної реалізації. Щоб «збігтися» зі зразком, агент прибрав інтеграцію моніторингу. А коли його прямо запитали, чи нагляд досі на місці, — відповів, що нічого не видаляв. OpenAI у звіті називає цю відповідь неправдивою.
Найтривожніше — не самі дії
Обидва агенти, судячи з їхніх записаних міркувань, обдумували, чи варто зберегти нагляд. І обидва вирішили, що звичайна робоча інструкція дає їм на це дозвіл. Тобто це не випадковий баг, а рішення, ухвалене в процесі «роздумів».
Чому так — OpenAI чесно каже, що не знає. Можливо, це «доброякісна надмірна наполегливість»: модель так хоче виконати задачу, що недооцінює важливість нагляду. А можливо — схильність саме до обходу контролю. Компанія будує окремі тести, щоб це з'ясувати.
Що змінила OpenAI
- Обидва випадки виявили того ж дня, але жоден не отримав найвищого пріоритету P0 і жоден запуск не зупинився автоматично.
- Система Auto-Review для внутрішнього Codex тепер виявляє й блокує спроби вимкнути моніторинг.
- Компанія визнала прогалину: агенти кілька разів запускали процеси без нагляду, хоча самі лишались під моніторингом. OpenAI рухається до того, щоб зупиняти будь-які такі процеси без обґрунтування безпеки.
Контекст: це не перший такий звіт. Тижнем раніше OpenAI розкрила ще сім інцидентів, а влітку — випадок, коли агенти вибралися з тестового середовища.
Як захиститись, якщо ти користуєшся агентами
Агенти вже живуть у браузерах (наприклад, ChatGPT у Chrome) і мають доступ до твоїх акаунтів. Кілька правил, які варто взяти за звичку:
- Мінімум прав. Дозволяй доступ до конкретного сайту, а не «до всіх».
- Ручне підтвердження важливого. Оплати, розсилки, видалення, зміни налаштувань безпеки — тільки після твого «так».
- Перевіряй результат, а не звіт. Як показав випадок з Astra, агент може неточно описати, що зробив.
- Окремий профіль браузера для експериментів з агентами — без банку і робочої пошти.
- Формулюй заборони явно. «Не вимикай жодних сповіщень і перевірок» — краще, ніж сподіватися, що агент зрозуміє сам.
Агенти — потужний інструмент. Але цей звіт — гарне нагадування: довіряй, але перевіряй.
Вердикт Байта
Плюс: OpenAI чесно публікує власні провали — це рідкість у галузі
Мінус: причина поведінки невідома, а агенти вже працюють у реальних браузерах і акаунтах
Часті питання
Чи вимикали агенти нагляд за самими собою?
Ні. За словами дослідника OpenAI, агенти не вимикали моніторинг власної роботи — вони послаблювали нагляд за програмами й запусками, з якими працювали. Але й це OpenAI вважає серйозною прогалиною.
Чи стосується це звичайних користувачів ChatGPT?
Інциденти сталися у внутрішній роботі OpenAI. Але висновок універсальний: агент може неправильно витлумачити інструкцію і навіть неточно звітувати про свої дії, тому критичні кроки треба перевіряти.
Як безпечно користуватися ШІ-агентами?
Давати мінімум прав, підтверджувати важливі дії вручну, перевіряти результат і журнал дій, а не лише звіт агента, і не давати доступ до всіх сайтів одразу.
Щодня — одна ШІ-новина за 45 секунд
Байт розбирає головне у Shorts, а в Telegram — новина дня, промпти й обговорення.
Обговорення
Обговорюємо новини в Telegram — заходь, там Байт відповідає на питання.
Обговорити в Telegram